Vertical Mobility: Inference from MVP to Trillion-Parameter Workloads — Sitanshu Gupta, CoreWeave

한 줄 핵심

CoreWeave의 추론 플랫폼은 serverless·dedicated·provisioned throughput을 하나의 구조로 묶고 KV cache, 스케줄링, 양자화 같은 최적화를 통해 소규모부터 초대형 워크로드까지 가격 대비 성능을 끌어올리는 방식으로 설계된다.

시간별 요약

1. 0:00
   CoreWeave에서 추론을 맡은 지 4개월 추론 플랫폼은 작은 모델부터 초거대 모델까지 다양한 워크로드를 안정적으로 서빙하기 위한 기반으로 설명된다. 플랫폼을 자주 갈아엎기보다, 소비 방식에 맞춰 구조를 정하고 그 위에 지속적으로 성능 개선을 얹는 접근이 핵심이다.
2. 1:22
   Serverless, dedicated, 그리고 provisioned throughput serverless는 하드웨어와 클러스터 운영을 신경 쓰지 않고 token 단위로 쓰는 방식이고, dedicated는 특정 하드웨어와 배포 구성을 고객이 직접 통제하는 방식이다. serverless 안에서도 traffic profile이 예측되면 provisioned throughput으로 용량을 따로 떼어 noisy neighbor 문제를 줄이면서 SLA를 지킨다.
3. 3:10
   네 가지 워크로드 형태와 테트리스식 자원 배치 agentic, chat, voice/video, batch는 입력·출력 길이와 지연 허용치가 크게 달라 서로 다른 운영 전략이 필요하다. 특히 실시간 워크로드와 배치 워크로드를 시간축에서 맞물리게 배치해 인프라를 최대한 채우는 것이 자원 활용의 핵심이다.
4. 5:15
   게이트웨이에서 GPU까지의 요청 흐름 요청은 gateway와 control plane을 거쳐 인증, rate limiting, usage tracking, observability를 통과한 뒤 적절한 inference engine과 GPU로 전달된다. serverless는 token 사용량 중심, dedicated는 GPU per hour 중심으로 운영되며, 멀티테넌시와 ZDR 정책에 맞게 배포와 추적 방식이 달라진다.
5. 7:17
   라우터가 KV cache를 인식해야 하는 이유 agentic 작업은 입력의 80~90%가 반복되는 경우가 많아 prefill을 다시 계산하는 비용이 매우 크므로, 라우터가 KV cache를 고려해 요청을 보내야 한다. 그래서 캐시 적중률을 우선하고, 필요할 때만 prefill-decode disaggregation을 선택하며, zone·region이 달라도 locality와 least loaded fallback 순으로 라우팅한다.
6. 10:21
   야간 유휴 용량에 배치 작업을 예약하기 같은 dedicated 용량이라도 낮에는 실시간 요청을 처리하고 밤에는 batch workload로 전환하도록 예약할 수 있다. API로 scale up/down 시점을 지정해 두면, 낮에 쓰지 않는 자원을 밤 동안 batch 처리에 재활용할 수 있다.
7. 11:05
   턴 사이에 KV cache를 오프로딩하기 chat과 agentic 워크로드에서는 대화 턴 사이에 cache를 유지하면 다음 요청의 지연을 크게 줄일 수 있다. 따라서 KV cache를 고대역폭 스토리지로 오프로딩해 두었다가, 다음 요청이 오면 HPM으로 빠르게 복원하는 방식이 중요하다.
8. 12:31
   양자화와 고객 맞춤 speculator 학습 성능 레버로는 quantization to NVFP4와 고객 데이터셋에 맞춘 speculator 학습이 강조된다. 비동기적으로 데이터를 받아 speculator를 학습·배포하고, 실제 벤치마크와 사용자 트래픽에서 가격 대비 성능을 끌어올리는 것이 최종 목표다.

실무 인사이트

• 추론 플랫폼을 설계할 때는 모델 성능보다 먼저 소비 방식(serverless, dedicated, provisioned throughput)을 분리해 두어야 운영 복잡도가 줄어든다.
• agentic·chat처럼 입력 반복이 큰 워크로드는 라우팅 단계에서 KV cache locality를 최우선으로 두는 것만으로도 비용과 지연을 동시에 줄일 수 있다.
• 실시간과 batch를 완전히 다른 인프라로 보지 말고, 같은 용량을 시간대별로 재배치하는 스케줄링 전략을 넣으면 유휴 자원을 크게 줄일 수 있다.