“GPU 발전은 멈췄다! 이제 데이터센터는 메모리 팩토리” (김정호 카이스트 교수)

한 줄 핵심

AI 성능 경쟁의 중심이 GPU가 아니라 메모리 용량·속도·패키징으로 이동했고, 미래의 AI 데이터센터는 메모리 팩토리처럼 설계돼야 한다는 주장이다.

시간별 요약

1. 0:00
   AI 도입의 목표가 단순 사용량 확대에서 ROI 제고로 바뀌고 있으며, 반도체 패키징은 GPU 위에 HBM을 쌓는 방식에서 더 큰 구조적 전환을 맞고 있다. GPU 발열과 메모리 한계 때문에 새로운 적층·연결 방식이 필요하다는 문제의식이 제기된다.
2. 3:00
   AI가 기억해야 할 정보가 급증하면서 토큰과 컨텍스트 길이가 수만~수백만 단위로 커졌고, 이에 따라 HBM만으로는 KV 캐시를 감당하기 어려워졌다. AI 지능은 모델 자체보다 메모리의 용량과 속도에서 나온다는 관점이 제시된다.
3. 7:01
   HBM을 대체·보완하는 방향으로 HBF가 부상하며, SK 하이닉스와 Sandisk의 표준화 및 양산 논의가 본격화되고 있다. 한편 NVIDIA는 삼성·하이닉스 의존도를 줄이기 위해 외부 스토리지를 광통신으로 연결하는 다른 해법을 모색하는 흐름으로 읽힌다.
4. 11:01
   GPU 옆 배치가 아니라 GPU 위에 메모리를 올리는 GHBM, 더 나아가 뒤집어서 GPU를 위로 올리는 THBM 같은 적층 아이디어가 소개된다. 다만 발열 문제와 냉각 구조를 고려하면, 메모리와 연산칩의 물리적 배치가 성능을 좌우하는 핵심 변수가 된다.
5. 15:00
   AI 반도체의 승부처는 개별 GPU 성능이 아니라 메모리 중심의 시스템 설계로 옮겨갔고, 하드웨어·소프트웨어·모델·컴파일러까지 포함한 풀스택 경쟁이 중요해졌다. 결국 AI 데이터센터는 메모리와 전력이 핵심인 자본 집약적 인프라이며, 한국은 메모리와 서비스까지 묶은 풀스택 전략으로 강점을 만들 수 있다는 결론이다.

실무 인사이트

• AI 인프라를 검토할 때 모델 성능보다 메모리 병목, 전력 비용, 냉각 구조를 우선 점검해야 한다.
• 반도체·서버 전략은 칩 단품 경쟁보다 HBM/HBF와 패키징, 광연결, 소프트웨어 스택까지 묶은 시스템 설계로 봐야 한다.
• 한국 기업은 메모리 제조 강점을 기반으로 전력·서비스·플랫폼까지 연결하는 풀스택 사업화가 가능한지 함께 설계할 필요가 있다.