GPU 서버를 도입할 때 실무자들이 가장 많이 하는 실수 중 하나는, GPU 모델부터 정해놓고 CPU는 “이 정도면 되겠지”라며 나중에 대충 끼워 맞추는 것입니다. 그런데 실제로는 CPU가 GPU의 성능을 얼마나 뽑아내느냐를 좌우하고, 최근에는 CPU 자체의 수급과 가격까지 GPU 도입 계획에 영향을 주는 변수가 됐습니다.
이번 글에서는 GPU를 선택할 때 CPU를 어떤 기준으로 함께 정해야 하는지, 그리고 요즘 부쩍 화제인 AMD와 인텔의 최근 행보를 짚어보면서 실제로 어떤 CPU를 추천할 수 있는지 정리해보겠습니다. 마지막에는 국내에서 GPU 수급 이슈로 주목받고 있는 NPU 이야기도 짧게 짚고 넘어가겠습니다.
1. 다시 짚는 GPU·NPU·CPU의 역할
CPU 사이징 이야기로 들어가기 전에, 각 프로세서의 역할을 짧게 정리하고 가겠습니다.
- GPU — 수천 개 코어로 병렬 연산에 특화된 프로세서. 대규모 모델 학습(Training)과 대량 데이터 기반 파인튜닝을 담당합니다. 비유하자면 새로운 지식을 만들어내는 연구소입니다.
- NPU — 신경망 연산 전용 프로세서로 전력 소모가 적고, 추론(Inference) 단계의 빠른 응답에 강합니다. 연구소의 결과를 현장에서 즉시 활용하는 실무 전문가에 가깝습니다.
- CPU — 범용 처리를 담당하며 운영체제·애플리케이션 실행, 데이터 전처리, GPU·NPU와의 협업을 관리합니다. 연구소와 현장을 연결하고 시스템 전체가 멈추지 않도록 관리하는 총괄 매니저 역할입니다.
GPU가 아무리 강력해도 CPU가 데이터를 제때 공급하지 못하면 GPU는 “놀게” 됩니다. 실제로 GPU 사용률이 기대치보다 낮게 나오는 상당수 사례는 GPU 성능 문제가 아니라 CPU의 PCIe 레인 부족, 메모리 대역폭 병목, 코어 수 부족 때문인 경우가 많습니다.
2. 2026년 CPU 시장 지형: 왜 AMD 이야기가 자주 나올까
체감하시는 분들도 많겠지만, 최근 서버 CPU 구성에서 AMD EPYC이 눈에 띄게 늘고 있습니다. 근거 없는 인상이 아닙니다.
머큐리 리서치 집계 기준으로 AMD의 서버 CPU 매출 점유율은 최근 분기 27% 선까지 올라왔고, EPYC과 인텔 제온(Xeon SP)만 놓고 비교하면 35%를 넘겼다는 분석도 있습니다. 인텔의 서버 시장 점유율은 한때 97%에 달했던 것에서 70%대 초반까지 내려온 것으로 알려져 있으며, 업계에서는 2026년 안에 AMD가 서버 시장에서 35% 이상을 차지할 것이라는 전망도 나옵니다.
이런 흐름에는 몇 가지 이유가 있습니다.
- 코어 수·전력 효율 경쟁력 — AMD EPYC 9005(Turin) 계열은 Zen 5c 기반으로 최대 192코어까지 지원하며, 클라우드·가상화처럼 코어 밀도가 중요한 워크로드에서 강점을 보입니다.
- 공격적인 채널·파트너 전략 — AMD는 최근 상업용 파트너 프로그램 예산을 큰 폭으로 늘리고 리셀러 커버리지를 확대하면서, 그동안 인텔이 강했던 유통 채널을 적극적으로 공략하고 있습니다. 마케팅 측면에서도 인텔보다 눈에 띄게 공세적입니다.
- AI 서버에서 CPU 1:1 배치 트렌드 — 에이전틱 AI 워크로드가 늘면서 GPU 1장당 CPU 1개에 가까운 구성이 늘고 있다는 것이 AMD 측 설명입니다. 과거에는 CPU 1개가 여러 GPU를 담당했다면, 이제는 CPU의 전처리·오케스트레이션 역할이 커지면서 서버당 CPU 수요 자체가 늘어난 셈입니다.
그렇다고 인텔이 밀리기만 하는 것은 아닙니다. Xeon 6 세대는 지연시간에 민감한 워크로드에 강한 Granite Rapids(P-core)와, 고밀도 멀티스레드에 최적화된 Sierra Forest(E-core)로 라인업을 분리해 대응하고 있고, Intel AMX 같은 행렬 연산 가속 기능은 CPU 단독 추론이나 GPU 보조 연산에서 여전히 강점입니다. 레거시 엔터프라이즈 소프트웨어와의 호환성, 안정적인 공급망도 인텔을 선택하는 실무적인 이유입니다.
결론적으로: “어느 쪽이 우월하다”보다 “우리 워크로드에 어느 쪽이 맞는가”로 접근하는 것이 정확합니다. 다만 최근 몇 년간의 흐름만 보면, 신규 GPU 서버 구성에서 AMD EPYC을 1순위로 검토하는 경우가 확실히 늘었다는 것은 사실입니다.
3. NVIDIA GPU별 CPU 페어링 가이드
NVIDIA의 엔터프라이즈 레퍼런스 아키텍처에서는 HGX H100·H200·B200 구성에 대해 AMD EPYC(Genoa, Turin)와 Intel Xeon Scalable(Sapphire Rapids, Emerald Rapids, Granite Rapids)을 모두 인증된 CPU로 명시하고 있습니다. 즉 “정답”이 정해져 있다기보다, 워크로드와 예산에 따라 선택지가 열려 있는 구조입니다. 실무에서 자주 쓰이는 조합을 정리하면 다음과 같습니다.
| GPU 구성 | 전형적인 CPU 구성 | 선택 포인트 |
|---|---|---|
| HGX H100/H200/B200 8-GPU (학습용 클러스터) | Dual AMD EPYC 9004/9005(Genoa/Turin) 또는 Dual Intel Xeon Scalable(Sapphire/Emerald/Granite Rapids) | PCIe 5.0 레인과 메모리 대역폭이 8-GPU를 얼마나 “굶기지 않고” 먹여 살리는지가 핵심. 대규모 데이터 전처리 파이프라인이 있다면 EPYC의 코어 수·메모리 채널 우위가 유리 |
| PCIe 기반 4-GPU 서버 (학습+추론 겸용) | Dual Xeon Gold/Platinum 계열 또는 Dual EPYC 9004 중급형 | 대용량 RAM 풀(1~2TB)이 필요한 시뮬레이션·전처리 워크로드에는 Xeon Gold 6530급, 밀도 위주라면 EPYC |
| 단일 GPU 추론 서버 (H100/L40S 1장) | 싱글 소켓 AMD EPYC 9004 보급형 (예: EPYC 9124) 또는 Xeon Silver/Gold 하위 모델 | API 서빙, 저지연 추론 엔드포인트라면 코어 수보다 소켓 구성 단순화·비용이 우선 |
| 엣지 추론 (L4, RTX 6000 Ada/PRO) | Xeon-W, EPYC 4004 등 워크스테이션·저전력 CPU | 코어 수보다 전력 효율과 폼팩터가 중요 |
실무 Tip
- 8-GPU 학습 클러스터를 구성한다면, 대규모 데이터 파이프라인·전처리가 많은 조직은 EPYC 9005(Turin)의 12채널 메모리·최대 160레인 PCIe 5.0을 우선 검토하는 것을 추천합니다.
- 레거시 엔터프라이즈 시스템과의 연동, 안정적인 벤더 지원이 중요한 금융·공공 프로젝트라면 Intel Xeon 6(Granite Rapids)도 여전히 합리적인 선택입니다.
- GPU 1장짜리 소규모 추론 서버라면 CPU에 과도한 투자를 할 필요가 없습니다. 이 구간에서는 오히려 GPU 자체보다 저렴하고 무난한 CPU로 구성하고, 예산을 GPU나 스토리지에 배분하는 것이 효율적입니다.
4. 사이징 체크리스트: GPU 고를 때 같이 물어야 할 CPU 질문
- PCIe 레인이 GPU 수를 감당하는가? — GPU 8장 구성이라면 최소 128레인 이상이 필요합니다. EPYC과 Xeon 6 모두 이 구간을 지원하지만, 실제 보드 설계(스위치 유무)에 따라 실효 대역폭이 달라지니 벤더 스펙을 꼭 확인하세요.
- 메모리 채널·용량이 충분한가? — GPU 메모리 총합의 2~2.5배라는 시스템 메모리 공식은 CPU 소켓의 메모리 채널 수와 직결됩니다. EPYC은 12채널, Xeon 6도 계열에 따라 최대 12채널을 지원합니다.
- 워크로드가 학습인가, 추론인가? — 학습 중심이라면 CPU는 데이터 파이프라인 처리량이 중요하고, 추론 서빙 중심이라면 저지연 단일 스레드 성능이나 AMX 같은 CPU 내장 가속 기능이 더 중요해질 수 있습니다.
- 기존 인프라와의 호환성은? — 레거시 시스템, 라이선스, 운영팀의 숙련도(EPYC vs Xeon 운영 경험)도 실제 도입 결정에서 무시할 수 없는 변수입니다.
5. GPU가 부족하면 NPU도 대안이 될 수 있다 (다음 편 예고)
여기까지는 “GPU를 쓴다는 전제 하에 CPU를 어떻게 고를 것인가”를 다뤘습니다. 그런데 국내 상황을 보면 한 가지 변수가 더 있습니다. 바로 GPU 수급 문제입니다.
2026년 들어서도 엔비디아 GPU는 여전히 품귀 상태이고, 정부는 국산 AI 반도체(NPU) 활용 비중을 국가 AI컴퓨팅센터 기준 최대 50%까지 확대하겠다는 목표를 세웠습니다. 퓨리오사AI, 리벨리온 같은 국내 NPU 기업들은 이미 실제 서비스 레퍼런스를 쌓고 있고, 포스코DX처럼 외산 GPU 대신 국산 NPU로 지능형 공장을 구현한 사례도 나왔습니다. GPU 수급이 여의치 않은 AIDC 프로젝트에서는 “GPU로만 다 해결한다”는 접근 대신, 추론 구간을 NPU로 분리하는 하이브리드 설계도 충분히 검토할 만한 옵션이 되었습니다.
NPU를 언제, 어떤 기준으로 GPU와 함께(혹은 대신) 고려해야 하는지는 다음 포스팅에서 국내 NPU 기업들의 실제 스펙과 사례를 중심으로 자세히 다뤄보겠습니다.
마무리 요약
| 항목 | 핵심 요약 |
|---|---|
| CPU의 역할 | GPU에 데이터를 공급하고 시스템 전체를 오케스트레이션 — 병목이 되면 GPU 성능도 못 뽑는다 |
| 시장 흐름 | AMD EPYC이 서버 시장 점유율을 빠르게 확대 중, 인텔 Xeon 6도 P-core/E-core 분리 대응 |
| 8-GPU 학습 클러스터 | Dual EPYC 9005(Turin) 또는 Dual Xeon 6(Granite Rapids) — 데이터 파이프라인 규모에 따라 선택 |
| 단일 GPU 추론 서버 | 보급형 싱글 소켓 CPU로 충분, 과투자 지양 |
| 국내 변수 | GPU 수급 이슈로 NPU 하이브리드 구성도 검토 대상으로 부상 |
GPU 도입 계획을 세울 때는 CPU를 “곁다리”가 아니라 워크로드에 맞춰 함께 설계해야 할 대상으로 봐야 합니다. 다음 글에서는 국내 NPU 생태계와 실제 도입 사례를 통해, GPU·CPU·NPU 세 가지를 함께 고려하는 인프라 설계 방법을 이어가겠습니다.
참고 자료 및 출처
- AMD 서버 CPU 시장 점유율 동향
- AMD EPYC 9005(Turin) vs Intel Xeon 6 스펙 비교
- NVIDIA 엔터프라이즈 레퍼런스 아키텍처(HGX H100/H200/B200 + CPU 인증 목록)
- 국내 NPU 동향
