What's New in Inference Engineering — Philip Kiely, Baseten

한 줄 핵심

이 영상은 inference engineering의 최신 흐름을 정리하며, TurboQuant의 실용성 한계, KV compaction, diffusion 기반 speculative decoding 같은 새 기법들이 결국 데이터센터 추론에서 더 빠른 처리량과 더 나은 학습-추론 순환을 만드는 방향으로 수렴하고 있음을 보여준다.

시간별 요약

1. 0:00
   세계 박람회에서의 3년과 책 저자 경험과 책 출간 이후의 반응을 바탕으로, 이 발표는 출간 이후 새로 등장한 inference engineering의 변화를 정리하는 첫 공개 보완판이다. 이후 내용은 TurboQuant, KV compaction, speculative decoding, 그리고 앞으로의 전망을 다룬다.
2. 2:30
   로컬과 데이터센터, 두 가지 inference engineering 로컬 추론은 제한된 하드웨어에서 모델을 압축해 먼저 동작시키고 품질을 회복하는 데 초점이 있고, 데이터센터 추론은 이미 동작하는 시스템을 더 빠르게 만드는 데 초점이 있다. 두 영역 모두 중요하지만, 이 영상은 특히 batch size와 데이터센터 운영에 맞춘 최적화에 집중한다.
3. 3:52
   추론을 위한 학습이 손off를 흐린다 추론 최적화가 이제는 단순한 사후 조정이 아니라 전용 학습 과정에서 나오며, training과 inference의 경계가 점점 흐려지고 있다. 더 빠른 추론이 더 많은 데이터를 만들고, 그 데이터가 다시 더 나은 모델과 더 빠른 추론으로 이어지는 순환 구조가 핵심이다.
4. 5:20
   TurboQuant에 무슨 일이 있었나 TurboQuant는 KV cache를 4bit로 압축해 메모리 대역폭을 크게 아낄 수 있지만, decode 시 추가 연산이 필요해 TPS가 절반 이상 떨어질 수 있다. 그래서 데이터센터 환경에서는 매력적인 연구이지만, 실제 생산 시스템에서는 범용 해법으로 채택되기 어렵다.
5. 7:37
   4비트 양자화가 실제로 맞는 자리 데이터센터에서는 TurboQuant보다 NVFP4를 포함한 전통적 양자화와 KV-aware routing, KV offloading, KV sharing이 더 실용적이다. 반면 로컬 환경이나 긴 컨텍스트 모델에서는 메모리 절감 효과가 큰 4bit KV 압축이 훨씬 유리할 수 있다.
6. 9:28
   KV 압축과 학습된 캐시 KV cache는 lossless memory에 가깝지만, 긴 시퀀스에서는 그 자체가 큰 병목이 되므로 더 작은 표현으로 압축할 방법이 필요하다. 이 구간은 prefi x를 재사용하는 일반적 캐시 개념을 넘어, 학습으로 amortize된 learned compact memory가 더 빠른 접근을 가능하게 한다는 점을 강조한다.
7. 12:11
   작은 모델에서 학습된 드래프터까지, speculative decoding speculative decoding은 draft token을 먼저 만들고 검증해 한 번의 forward pass로 여러 토큰을 생성하는 방식이며, 품질 손실 없이 TPS를 높인다. 초기의 작은 보조 모델 방식에서 시작해 Medusa, Eagle 3를 거치며 점점 더 강한 drafter가 등장했고, 이제는 diffusion 기반 접근이 다음 단계로 올라왔다.
8. 13:32
   DFlash: 드래프팅을 위한 diffusion DFlash는 단일 토큰이 아니라 여러 토큰을 한 번에 생성하는 diffusion language model로, Eagle 계열보다 더 많은 draft를 더 높은 acceptance rate로 제안한다. 실제 측정에서도 token acceptance와 tokens per second가 크게 개선되며, bidirectional attention을 활용하는 점이 핵심이다.
9. 15:11
   DSpark와 지속적 speculator 재학습 DSpark는 diffusion speculator에 sequential model을 결합해 acceptance weight를 더 높이려는 새로운 연구이지만, 아직 생산 결과는 없다. 반면 live system의 프롬프트와 응답으로 speculator를 계속 재학습하는 방식은 이미 20%에서 2배 수준의 개선을 보여주지만, 저장·컴퓨팅·권한 관리 부담이 크다.
10. 17:04
    다음에 올 것 앞으로는 Rubin 같은 차세대 하드웨어에서 NVFP4 성능을 제대로 끌어내기 위해 로컬 추론 기법을 데이터센터로 더 많이 옮겨오는 흐름이 강해질 가능성이 크다. 또한 PD disaggregation과 시스템 전반의 통신, 그리고 training for inference가 산업 전반의 주요 최적화 축으로 더 중요해질 것이다.

실무 인사이트

• 데이터센터 추론 최적화는 단순한 압축보다, 메모리 이동·라우팅·분산 구조까지 포함한 시스템 설계로 봐야 효과가 크다.
• TurboQuant처럼 이론적으로는 매력적이지만 decode 비용이 큰 기법은, 로컬과 데이터센터에서 가치가 완전히 다르게 평가된다.
• speculative decoding의 성능은 모델 구조뿐 아니라 실제 운영 데이터로의 지속적 재학습 여부에 크게 좌우된다.