Deep dive on LLM Inference at Scale — Harshul Jain, Audible & Tanmay Sah, Independent AI Researcher

한 줄 핵심

LLM 추론 비용은 메모리, 첫 토큰 지연, 처리량의 제약에서 비롯되며, 모델 압축과 서빙 최적화를 함께 적용해 GPU당 수용량과 비용 효율을 동시에 끌어올려야 한다.

시간별 요약

1. 0:00
   소개와 워크숍 범위 LLM inference를 처음부터 이해하고 업계에서 실제로 무엇이 병목인지 파악하는 것이 목표이며, 초급부터 중급까지를 대상으로 리포지토리의 슬라이드와 실습 자료를 함께 활용한다.
2. 2:43
   LLM 추론이 무엇이며 왜 비용이 큰가 LLM inference는 텍스트, 오디오, 영상 분석 같은 요청을 처리하는 실행 단계이며, 학습보다 훨씬 큰 반복 운영비가 들어서 토큰 사용량과 추론 효율을 관리하지 않으면 비즈니스가 손익분기점을 넘기기 어렵다.
3. 5:21
   리포지토리, 슬라이드, 무료 GPU 노트북 깃허브 리포지토리에는 슬라이드, 벤치마크 보고서, Jupyter notebook이 정리되어 있고, 무료 RTX 6000 GPU 환경을 통해 실제로 모델을 올리고 GPU 메모리와 실행 결과를 확인할 수 있다.
4. 8:23
   세 가지 병목: 메모리, 첫 토큰, 처리량 컨텍스트가 길어질수록 KV cache 때문에 메모리가 늘고, prefill이 길어져 TTFT가 악화되며, 단순 구현에서는 요청이 순차 처리되어 throughput이 급격히 떨어진다.
5. 12:18
   기초: 파이프라인과 attention 계층 추론 파이프라인은 토큰화, 임베딩, transformer 층, 다음 토큰 생성의 반복으로 구성되며, 대부분의 계산은 transformer와 그 안의 attention에서 발생하므로 병목의 원인을 attention 관점에서 봐야 한다.
6. 14:53
   KV cache 수학과 GPU 메모리 분배 토큰당 KV 크기는 모델 구조에 따라 고정적으로 커지며, 컨텍스트 길이와 동시 사용자 수가 늘수록 GPU의 남은 메모리가 빠르게 소진된다. 따라서 model weights와 고정 오버헤드를 제외한 나머지 공간을 KV cache가 어떻게 점유하는지 계산해야 한다.
7. 20:41
   Prefill과 decode, 그리고 decode가 메모리 병목인 이유 prefill은 입력 전체에 대한 KV 생성과 attention 계산을 한 번에 수행하는 계산 집약 단계라 TTFT를 결정하고, decode는 매 토큰마다 이전 KV를 계속 읽어와야 해서 계산보다 메모리 대역폭에 더 크게 묶인다.
8. 28:41
   처리량, 동시성, 그리고 트레이드오프 삼각형 컨텍스트 길이, 동시 사용자 수, 지연시간은 동시에 최적화하기 어렵고, 하나를 키우면 다른 하나를 줄여야 한다. 따라서 챗봇, 비동기 agent 작업처럼 워크로드 성격에 따라 품질·지연·처리량의 우선순위를 다르게 잡아야 한다.
9. 34:02
   용량 계산기와 GPU 선택 GPU 선택은 목표 지연시간, 최소 동시 배치, 허용 가능한 컨텍스트 길이를 먼저 고정한 뒤 역산해야 한다. 겉보기 비용이 더 비싼 GPU라도 실제로는 더 많은 토큰을 처리해 cost per million tokens가 더 낮아질 수 있다.
10. 37:10
    모델 최적화, quantization, attention 변형 모델 크기는 FP16, int8, int4, NF4 같은 quantization으로 줄일 수 있고, attention은 multi-head attention에서 grouped query attention, multi-query attention, multi-head latent attention, sparse attention으로 진화하며 메모리와 계산량을 줄인다.
11. 48:04
    Flash attention, 점수표, 데모 Flash attention은 큰 attention 행렬을 작은 tile로 쪼개 HBM과 shared memory 이동을 줄여 더 효율적으로 softmax와 행렬곱을 수행한다. 또한 attention 변형들은 품질과 압축률, 병렬성의 균형이 다르며, 실제 데모에서는 MLA가 상당한 메모리 절감 효과를 보인다.
12. 1:00:14
    서빙 최적화, paging, batching, caching 서빙 측면에서는 KV cache를 활용해 중복 계산을 줄이고, paging으로 메모리 단편화를 완화하며, continuous batching으로 GPU 유휴 시간을 줄인다. prefix caching과 KV quantization은 반복 요청과 캐시 크기 문제를 완화한다.
13. 1:06:12
    vLLM 벤치마킹과 speculative decoding vLLM은 기본적으로 paging, continuous batching, KV cache를 제공해 기준선 대비 처리량을 크게 높이며, prefix caching과 KV quantization을 더하면 메모리 효율이 추가로 좋아진다. speculative decoding은 작은 모델이 미리 토큰을 제안하고 큰 모델이 검증하는 방식으로 decode 가속을 노린다.
14. 1:17:27
    vLLM과 SGLang 비교, 엔진 선택, 다음 학습 주제 표준 API workload에서는 vLLM과 SGLang의 차이가 크지 않지만, agentic branching처럼 반복적이고 구조화된 워크플로에서는 SGLang이 유리할 수 있다. 이후에는 더 깊은 benchmark 읽기, KV eviction 전략, hybrid memory, distributed LLM inference를 공부하는 흐름이 유효하다.

실무 인사이트

• GPU 선택은 스펙 비교보다 먼저 목표 TTFT, 동시 사용자 수, 컨텍스트 길이를 고정한 뒤 KV cache 계산으로 역산해야 한다.
• 추론 최적화는 모델 압축과 서빙 최적화를 분리해서 보되, 실제 비용 절감은 두 축을 함께 적용할 때 가장 크게 나온다.
• 표준 챗봇과 agentic workload는 병목이 다르므로, 동일한 inference engine을 기본값으로 쓰더라도 워크로드별로 vLLM과 SGLang을 구분해 검토해야 한다.