How Inference Keeps Up with Our Insatiable Need for Tokens — Cerebras & Gimlet Labs

한 줄 핵심

토큰 수요 폭증에 대응하기 위해 추론 병목을 메모리·배치·캐시·워크로드 분리·하드웨어 매핑으로 단계적으로 풀어가며, 에이전트까지 활용해 더 빠르고 저렴한 토큰 공급 체계를 만들 수 있다고 주장하는 영상이다.

시간별 요약

1. 0:00
   소개 Cerebras와 Gimlet Labs가 함께 추론 최적화의 전반적인 접근을 소개하며, 더 많은 토큰을 더 빠르고 싸게 공급하는 방법을 논의한다.
2. 0:33
   폭발적으로 늘어나는 토큰 수요 AI 지출과 토큰 처리량이 급증하고 있으며, 모델이 더 싸고 빨라져도 수요 증가가 그 효과를 계속 상쇄하고 있다. 그래서 추론 비용과 처리량을 함께 개선하는 기술적 로드맵이 필요하다는 문제의식이 제시된다.
3. 2:02
   자기회귀 디코딩과 메모리 병목 LLM 추론은 토큰을 하나씩 생성하는 자기회귀 루프이므로, 매 토큰마다 가중치를 메모리에서 가져오는 시간이 대부분을 차지한다. 연산 자원이 놀고 메모리 대기만 발생하는 구조가 핵심 병목으로 지적된다.
4. 2:37
   모델을 여러 GPU로 나누기 모델을 여러 GPU에 분할하면 단일 토큰 지연을 줄일 수 있지만, 각 단계마다 all-reduce 통신 비용이 붙는다. 계산 자원을 4배 늘려도 속도 향상은 2배 수준에 그칠 수 있어 분산의 대가가 분명하다.
5. 3:27
   속도와 처리량의 파레토 경계 GPU를 더 투입할수록 더 빠른 토큰 생성은 가능하지만, 통신 오버헤드 때문에 에너지와 처리량 효율이 악화된다. 결국 추론 제공자는 속도와 처리량 사이의 파레토 경계에서 어떤 지점을 선택할지 결정해야 한다.
6. 4:27
   배칭과 연속 배칭 이미 읽은 가중치로 여러 요청을 한 번에 처리하는 배칭은 효율을 높이지만, 요청 길이가 다르면 유휴 시간이 생긴다. 연속 배칭은 이런 빈 슬롯마다 새 요청을 끼워 넣어 더 높은 자원 활용도를 만든다.
7. 5:22
   KV 캐시의 메모리 증가 추론에서는 모든 토큰에 대해 KV cache를 저장해야 하므로 긴 컨텍스트와 다중 요청이 겹치면 메모리 사용량이 빠르게 폭증한다. 70B 모델 기준으로 3,000 토큰마다 1GB가 추가되는 수준이라 배칭이 곧바로 메모리 한계로 이어진다.
8. 6:11
   페이지 단위 KV 캐시 물리 메모리를 미리 고정 예약하는 대신 가상 메모리처럼 관리하면, 사용하지 않는 공간 낭비를 크게 줄일 수 있다. 이 방식은 요청 수용량을 약 3배 높여 메모리 효율을 개선한다.
9. 7:06
   프롬프트 캐싱 긴 시스템 프롬프트나 반복되는 입력은 매 요청마다 다시 계산할 필요 없이 이전에 계산한 KV cache를 재사용할 수 있다. 이를 통해 가장 느린 prefill 단계를 건너뛰어 응답 지연을 줄인다.
10. 7:41
    Prefill과 decode 추론은 입력 프롬프트를 처리하는 prefill과 토큰을 한 개씩 생성하는 decode로 나뉜다. prefill은 계산 집약적이고, decode는 KV cache 재사용 때문에 메모리 의존적이라는 차이가 강조된다.
11. 8:36
    긴 컨텍스트를 위한 청크형 prefill 200K~1M 컨텍스트를 다루는 코딩 에이전트가 prefill 파이프라인을 막아 다른 요청까지 지연시키는 문제가 생긴다. 이를 해결하려면 긴 prefill을 작은 조각으로 나누어 decode와 번갈아 실행해야 한다.
12. 9:38
    시스템 수준: 워크로드는 서로 다르다 요약, 장문 생성, 긴 문맥 처리처럼 워크로드마다 prefill과 decode의 비중이 크게 다르다. 따라서 어떤 요청은 계산 병목이고 어떤 요청은 메모리 병목인지 구분해 자원을 다르게 배치해야 한다.
13. 11:06
    Prefill과 decode 분리 워크로드를 prefill 전용 풀과 decode 전용 풀로 나누면, 서로 다른 병목에 맞춰 독립적으로 확장할 수 있다. 이렇게 하면 한쪽이 막혀도 다른 쪽이 같이 멈추지 않아 전체 효율이 좋아진다.
14. 12:21
    메모리 대역폭: Cerebras와 H100 decode는 메모리 대역폭이 핵심이며, H100과 Cerebras의 차이는 이 병목을 극명하게 보여준다. Cerebras는 SRAM 기반 구조로 더 높은 대역폭과 더 높은 토큰 처리 속도를 제공한다.
15. 13:05
    Cerebras와 AWS Trainium AWS Trainium으로 prefill을 처리하고, EFA로 KV cache를 Cerebras CS-3로 옮겨 decode를 맡기는 협업 구성이 소개된다. 이 분업을 통해 같은 공간에서 더 높은 고속 토큰 처리 용량을 얻는 것이 목표다.
16. 13:39
    Gimlet의 멀티 실리콘 추론 클라우드 Gimlet은 NVIDIA, AMD, Trainium, Cerebras, D-Matrix, Intel Gaudi 등 서로 다른 칩을 한데 묶어 워크로드 조각별로 가장 적합한 하드웨어에 배치한다. 같은 전력 예산의 단일 아키텍처보다 3~10배 빠른 추론 성능을 목표로 한다.
17. 14:28
    예측 디코딩 작은 draft model이 후보 토큰을 먼저 생성하고, 큰 full model이 이를 검증하는 방식으로 decode 횟수를 줄인다. 그 결과 같은 토큰 수를 더 적은 full-model 실행으로 얻어 속도를 크게 높일 수 있다.
18. 17:01
    Attention과 FFN 분리 거대한 모델에서는 attention과 FFN의 자원 특성이 달라서 같은 하드웨어에 둘 다 올리는 것이 비효율적일 수 있다. attention은 메모리 대역폭이 강한 머신에, FFN은 행렬곱이 강한 머신에 배치하는 식의 세분화된 분리가 유효하다.
19. 18:25
    최적화 커널을 작성하는 에이전트 서로 다른 하드웨어와 워크로드에 맞는 커널 최적화를 사람이 수작업으로 하기보다, 에이전트가 프로파일 정보를 바탕으로 생성·탐색하게 만들 수 있다. KForge는 이런 접근으로 GPT-OSS-120B를 AMD에서 end-to-end 33% 빠르게 만들었다.
20. 20:16
    실리콘·컴파일러·운영을 위한 에이전트 에이전트는 커스텀 silicon 설계, 컴파일러 개발, 모델 온보딩, 운영·구매·법무 같은 주변 업무까지 최적화 범위를 넓힐 수 있다. 추론 최적화는 단일 기술이 아니라 에이전틱 워크플로 전체로 확장될 때 더 큰 효과를 낸다.

실무 인사이트

• 추론 최적화는 단일 기법보다 prefill·decode·캐시·하드웨어 배치를 분리해 각각의 병목에 맞추는 시스템 설계가 핵심이다.
• 긴 컨텍스트와 에이전트형 워크로드가 늘수록 계산보다 메모리와 파이프라인 정체가 먼저 문제 되므로, KV cache 관리와 워크로드 분리가 실무적으로 중요하다.
• 에이전트는 제품 기능을 넘어서 커널 최적화, 컴파일러, 운영 자동화까지 확장될 수 있어 인프라 효율 개선의 레버리지로 볼 수 있다.