AI 스토리지란 무엇인가? — AIDC가 스토리지에 요구하는 5가지
AI 데이터센터(AIDC)를 구축하거나 도입을 검토하는 담당자라면, 처음에는 GPU 사양과 수량에 집중하게 됩니다. 하지만 실제 운영 단계에 들어서면 가장 먼저 부딪히는 문제는 대부분 스토리지입니다.
GPU가 연산을 멈추고 대기하는 순간 — 그 원인의 상당수는 데이터를 제때 공급받지 못하기 때문입니다. 이 글에서는 AI 인프라에서 스토리지가 왜 핵심인지, 그리고 AIDC가 스토리지에 무엇을 요구하는지를 정리합니다.
GPU가 굶는다는 것의 의미
NVIDIA H100 GPU 한 장의 이론 연산 성능은 FP8 기준 최대 3,958 TOPS에 달합니다. 이 성능을 최대한 끌어내려면 GPU의 HBM(고대역폭 메모리)으로 데이터가 끊임없이 공급되어야 합니다.
AI 클러스터에서 스토리지 I/O가 발생하는 대표적인 순간은 세 가지입니다.
| I/O 시나리오 | 특징 | 스토리지 요구 |
|---|---|---|
| 학습 데이터 로딩 | 반복적 대용량 순차 읽기 | 높은 집계 처리량 |
| 체크포인트 쓰기 | 모델 크기에 비례 (400B 모델 ≈ 800GB+) | 빠른 쓰기, 낮은 지연 |
| 추론 모델 로딩 | 서비스 시작 시 대량 읽기 | 낮은 지연, GPUDirect |
스토리지가 이 세 가지 I/O 패턴을 충분히 받쳐주지 못하면, 아무리 많은 GPU를 갖추고 있어도 GPU 활용률은 50% 이하로 떨어질 수 있습니다.
AIDC가 스토리지에 요구하는 5가지
① 집계 대역폭 (Aggregate Bandwidth)
GPU 수가 늘어날수록 스토리지 처리량도 함께 늘어야 합니다. 단일 컨트롤러 아키텍처는 아무리 빠른 드라이브를 넣어도 컨트롤러 자체가 병목이 됩니다. AI 클러스터용 스토리지는 수평 확장(scale-out)으로 처리량이 선형에 가깝게 증가하는 구조여야 합니다.
② 지연 일관성 (Latency Consistency)
평균 지연이 낮아도, 간헐적으로 발생하는 꼬리 지연(tail latency)이 크면 GPU 동기화 단계에서 대기가 발생합니다. 특히 멀티노드 분산 훈련 환경에서는 가장 느린 노드가 전체 훈련 속도를 결정합니다.
③ 동시 접근 (Concurrent Access)
수백~수천 개의 GPU 프로세스가 동일한 파일시스템에 동시에 I/O를 요청합니다. 일반 NFS 단일 마운트 구성에서는 메타데이터 서버가 금방 병목이 됩니다. 대규모 AI 클러스터에서 병렬 파일시스템이 필요한 이유가 여기 있습니다.
④ GPUDirect Storage (GDS)
전통적인 I/O 경로는 “스토리지 → CPU 메모리(바운스 버퍼) → GPU HBM” 순서입니다. GPUDirect Storage를 사용하면 CPU를 완전히 우회하여 스토리지 → GPU HBM으로 직접 전달됩니다. 대형 모델(70B 이상)의 추론 콜드 스타트 시간에서 체감 차이가 납니다.
⑤ 멀티 프로토콜 지원
AI 환경은 단일 프로토콜로 운영되지 않습니다. AI 훈련(NFS/POSIX), HPC 시뮬레이션(POSIX), 오브젝트 스토리지(S3), 블록 스토리지(NVMe-oF) 등이 혼재합니다. 스토리지가 이를 단일 플랫폼에서 지원할 수 있는지가 중요한 선택 기준입니다.
규모별로 다른 답이 필요하다
AI 스토리지에 정답은 없습니다. 중요한 것은 클러스터 규모와 워크로드 성격에 맞는 선택입니다.
| GPU 클러스터 규모 | 권장 접근 |
|---|---|
| ~16 GPU (소규모 PoC) | 로컬 NVMe + NFS로 충분. 고성능 공유 스토리지는 과투자 |
| 16~64 GPU | NFS/pNFS 또는 BeeGFS 클러스터 도입 검토 |
| 64~256 GPU | 고성능 공유 스토리지 필수. 병렬 파일시스템 연동 고려 |
| 256 GPU 이상 | 엔터프라이즈급 병렬 파일시스템 (IBM SSS, NetApp EF 계열 등) |
아키텍트 관점에서: 스토리지를 나중에 보완하려는 접근은 AI 클러스터에서 잘 통하지 않습니다. GPU 도입 시점에 스토리지 패브릭, 프로토콜, 용량 계획을 함께 설계해야 GPU 활용률 90% 이상의 클러스터를 만들 수 있습니다.
다음 글에서 다루는 것
이 시리즈에서는 현재 AIDC 시장에서 대표적인 두 AI 스토리지 플랫폼을 각각 심층 분석합니다.
- IBM Storage Scale System 6000 — HPC에서 시작한 병렬 파일시스템의 AI 진화
- NetApp EF80 / AFF — 엔터프라이즈 스토리지 DNA로 AI 시장에 도전
제품 사양과 아키텍처 차이, 그리고 어떤 환경에서 무엇을 선택해야 하는지를 아키텍트 관점에서 정리합니다.
📚 AI 스토리지 시리즈
- ① AI 스토리지란 무엇인가? — AIDC가 스토리지에 요구하는 것 (현재 글)
- ② IBM Storage Scale System 6000 분석 — HPC DNA의 AI 진화
- ③ NetApp EF80 / AFF 분석 — 엔터프라이즈 스토리지의 AI 도전