EP 112. AI 반도체 안에서 일어나는 일들: KV Cache부터 Roofline까지

한 줄 핵심

AI 추론의 성능과 수익성은 compute·메모리·네트워크·소프트웨어 최적화의 결합으로 결정되며, prefill·decode·KV cache·Roofline를 이해해야 AI 인프라와 특수 목적 칩의 경쟁 구도를 읽을 수 있다.

시간별 요약

1. 0:00
   AI 인프라로 이동하는 가치 포착 모델 발전이 빨라질수록 돈이 실제로 모이는 지점은 아래 인프라와 위 애플리케이션으로 이동하고, 오늘의 핵심은 데이터센터 안에서 추론이 어떻게 돌아가며 어떤 벤치마크를 읽어야 하는지에 있다.
2. 2:13
   영원한 compute 부족과 폭발하는 토큰 수요 training과 inference 모두에서 compute 부족이 상시화됐고, Google의 토큰 사용량이 12개월 만에 50배, 14개월 만에 100배, 현재는 330배 수준으로 커질 만큼 수요가 폭발하고 있다.
3. 5:17
   매출·compute 격차가 밀어 올리는 추론 단가 프론티어 랩의 매출은 연 10배, compute는 연 3배로 벌어지기 때문에 마진 확대와 training-to-inference 비중 조정만으로는 한계가 있고, 결국 추론 단가 자체가 오르는 방향으로 시장이 움직인다.
4. 7:17
   HBM 대신 LPDDR을 택한 HyperAccel Bertha 칩 Bertha는 HBM 대신 LPDDR을 써서 전력과 원가를 낮춘 데이터센터형 AI 반도체이며, 저렴한 추론 서비스를 목표로 Samsung 4nm 공정에서 제작된 첫 제품이다.
5. 8:42
   LPDDR로 확보한 대역폭과 5천 달러 목표 가격 LPDDR을 많이 붙이고 내부 아키텍처로 대역폭 활용률을 90% 이상까지 끌어올려 H100 대비 낮은 메모리 대역폭을 보완했고, 목표 가격 5천 달러와 칩당 192GB 용량으로 비용 효율을 노린다.
6. 11:29
   LPU 이름의 유래와 OpenAI Jalapeño LPU는 본질적으로 NPU 계열의 이름일 뿐이며 단독 카드처럼 동작할 수 있고, 최근 공개된 OpenAI의 Jalapeño는 HyperAccel Bertha와 매우 유사한 메모리 인접 연산 구조를 보인다.
7. 15:01
   LLM 추론의 두 단계인 prefill과 decode LLM inference는 긴 입력을 한 번에 처리하는 prefill과, 한 토큰씩 이어서 생성하는 decode로 나뉘며, TTFT와 TBT/TPOT 같은 지표가 각 단계의 사용자 체감을 설명한다.
8. 17:57
   Transformer의 핵심 연산 attention과 FFN Transformer는 attention과 FFN이 핵심이며, dense model에서는 파라미터의 약 20%가 attention, 80%가 FFN에 있고 token 간 관계는 attention, token 내부 차원 연산은 FFN이 담당한다.
9. 20:50
   QKV 연산과 self-attention 구조 입력 embedding을 weight와 곱해 Query, Key, Value를 만들고 Query-Key 내적 뒤 softmax와 Value 곱으로 self-attention을 수행하며, 여러 head로 분할·병합하는 구조가 전체 attention 블록을 이룬다.
10. 26:32
    Decode에서 Key와 Value를 재사용하는 KV cache decode 단계에서는 이전 token들의 Key와 Value를 매번 다시 계산하지 않고 저장해 재사용하는 KV cache가 핵심이며, 긴 대화와 긴 context일수록 이 저장 공간이 급격히 중요해진다.
11. 28:15
    Token당 320KB로 폭증하는 KV cache 용량과 GQA Llama 3.1 70B 기준 token당 KV cache가 약 320KB까지 커지고, 128K context면 40GB가 필요해져 GQA 같은 구조적 압축이 없으면 serving 가능한 모델 크기와 동시 사용자 수가 급격히 제한된다.
12. 32:12
    KV cache를 줄이는 양자화와 MLA KV cache는 양자화, GQA, MLA, sliding window attention, CPU·SSD 오프로딩 같은 방법으로 줄이거나 옮길 수 있으며, agentic AI에서는 사람이 비는 동안 비싼 HBM에 KV를 붙잡아 두지 않는 전략이 중요해진다.
13. 35:01
    연산 병목과 메모리 병목의 구분 반도체 성능은 연산 속도와 메모리 공급 속도 중 어디가 먼저 막히는지로 결정되며, 같은 연산이라도 데이터 재사용이 적으면 memory-bound, 재사용이 많으면 compute-bound가 된다.
14. 37:48
    Arithmetic Intensity의 정의와 데이터 재활용 Arithmetic Intensity는 메모리에서 1byte를 읽어 몇 번 연산하는지의 비율로, batch와 sequence length가 커질수록 높아지고, 데이터 재활용이 많을수록 에너지 효율도 좋아진다.
15. 40:58
    Roofline analysis로 읽는 compute-bound와 memory-bound Roofline analysis는 하드웨어의 peak compute와 bandwidth로 ridge point를 정하고, 그보다 오른쪽은 compute-bound, 왼쪽은 memory-bound로 해석해 각 workload가 어느 병목에 걸리는지 보여준다.
16. 43:46
    Batching으로 올리는 decode 효율과 attention의 한계 decode는 batching으로 효율을 올릴 수 있지만 attention은 사용자별 KV가 달라 공유가 어려워 병목이 남고, 이를 보완하려고 GQA, MQA, MLA, prefix caching, KV 양자화가 동원된다.
17. 51:33
    상호작용성과 처리량의 trade-off 사용자 한 명이 빨리 받는 속도(interactivity)와 전체 서버 처리량(throughput)은 서로 trade-off 관계이며, 제품과 요금제는 이 두 축 사이에서 어떤 Pareto 지점을 선택하느냐에 따라 달라진다.
18. 54:26
    SemiAnalysis InferenceX Pareto curve 읽는 법 InferenceX 곡선은 GPU·소프트웨어·병렬화 설정별로 가능한 interactivity와 throughput의 상한을 보여주며, 서비스 사업자는 자신이 필요한 토큰/SLO 지점에서 가장 유리한 스택을 골라야 한다.
19. 1:00:51
    vLLM의 continuous batching과 PagedAttention vLLM은 요청 단위가 아니라 iteration 단위로 스케줄링하는 continuous batching을 쓰고, PagedAttention으로 KV cache를 page 단위로 동적 할당해 메모리 낭비를 줄인다.
20. 1:09:37
    Chunked prefill과 speculative decoding 긴 prefill이 decode를 막지 않도록 chunked prefill로 잘게 쪼개 우선순위를 조정하고, speculative decoding으로 작은 draft model이 미리 예측한 토큰을 큰 모델이 병렬 검증해 속도를 높인다.
21. 1:18:53
    Prefill pool과 decode pool을 나누는 PD disaggregation Prefill과 decode를 분리해 각각 전담 pool에서 처리하면 goodput이 올라가지만, KV 전송과 네트워크가 중요해지고 규모와 interconnect가 충분할 때만 효과가 크다.
22. 1:23:33
    Agentic AI가 만드는 새로운 추론 워크로드 AI agent는 session·request·step 단위로 길게 이어지고, LLM 호출과 tool 호출이 반복되며, 평균적으로 긴 heavy-tail 분포를 보여 worst case를 무시하면 서비스가 흔들린다.
23. 1:27:22
    사람이 만드는 대기 시간과 KV cache 골든타임 agent 워크로드에서는 사람이 판단하는 대기 시간이 대부분을 차지하며, 그 사이 25분 규모의 KV cache를 HBM에 계속 두기보다 5~10분 골든타임을 넘기면 더 싼 계층으로 옮기는 전략이 필요하다.
24. 1:30:10
    재계산 대신 다시 읽어오는 KV cache와 계층형 메모리 KV cache는 삭제 후 재계산보다 DRAM·SSD·flash에 보관했다가 다시 읽어오는 편이 유리한 경우가 많고, SRAM·HBM·DDR·SSD를 계층적으로 쓰는 스케줄링이 중요해진다.
25. 1:34:21
    GPU와 LPU가 결합하는 이종 컴퓨팅의 미래 앞으로는 모든 일을 한 칩이 처리하는 방식보다, prefill·attention·FFN·외부 메모리 등 각 단계에 가장 잘 맞는 GPU와 LPU를 조합하는 heterogeneous computing이 유리해진다.
26. 1:37:54
    AI가 바꾸는 반도체 설계와 검증 반도체 설계와 검증은 verifiable한 성격이 강해 AI가 빠르게 개입할 수 있고, RTL·Verilog 수준의 코딩과 검증, 나아가 P&R까지 자동화 가능성이 커지고 있다.
27. 1:40:08
    특수 목적 AI 칩의 춘추전국시대 LLM이라는 하나의 작업도 prefill, decode, attention, FFN처럼 쪼개지면서 Groq, Cerebras, TPU 같은 특수 목적 하드웨어가 각 구간을 나눠 맡는 시대가 열리고 있다.
28. 1:41:42
    마무리 인사와 AI 인프라 산업화의 가속 AI 산업은 모델 발표 중심에서 추론 경제성과 클라우드 수익성 중심으로 옮겨 갔고, 앞으로는 한 달 단위로도 인프라 경쟁 구도가 바뀔 만큼 산업화의 속도가 더 빨라질 전망이다.

실무 인사이트

• AI 인프라 사업은 모델 성능보다도 interactivity, throughput, goodput의 균형을 얼마나 잘 잡느냐가 수익성을 좌우하므로, 제품 기획 단계에서부터 SLO와 과금 구조를 함께 설계해야 한다.
• 긴 context와 agentic AI가 보편화되면 KV cache가 핵심 원가가 되므로, 메모리 계층화와 오프로딩, prefix caching, disaggregation 전략을 미리 갖춘 스택이 유리하다.
• 특수 목적 칩은 범용성보다 특정 workload의 병목을 정확히 찌를 때 강해지므로, prefill·decode·attention·FFN 중 어디를 겨냥하는지 명확히 정해야 경쟁력이 생긴다.