The State of Model Routing — NVIDIA, Cognition, OpenRouter

한 줄 핵심

모델 라우팅은 단순히 더 싼 모델로 넘기는 기술이 아니라, 작업의 난이도·맥락·캐시·협업 구조를 함께 고려해 여러 모델의 강점을 조합해 더 싸고 더 잘 작동하는 시스템을 만드는 문제다.

시간별 요약

1. 0:01
   이 대담은 멀티모델 환경에서 어떤 모델을 언제 쓰고 어떻게 넘길지, 즉 model routing의 현실적인 설계 문제를 다룬다. 핵심은 frontier model과 소형 모델을 대체 관계가 아니라 분업 관계로 보고, 비용 절감과 성능 향상을 동시에 노리는 것이다.
2. 3:01
   Cognition의 Fusion은 frontier model이 계획과 난이도 판단을 맡고, 실행은 더 싼 implementation model과 여러 sub-agent에 위임해 비용을 약 40% 줄이면서도 더 깊게 탐색하는 구조를 취한다. 단순히 작은 모델로 바로 보내는 방식은 취약하며, 태스크가 진행되며 복잡도가 바뀌는 agentic 작업에서는 항상 frontier intelligence가 감시해야 한다.
3. 11:00
   라우팅의 핵심 병목은 모델 간 context 공유이며, 전체 trace를 복사하는 대신 파일 참조·고수준 요약·context compaction으로 필요한 정보만 전달해야 한다. 다만 compaction 자체도 비용과 cache miss를 만들 수 있으므로, context를 줄이는 것보다 어떤 정보가 어떤 모델에 남아야 하는지 정교하게 설계하는 것이 더 중요하다.
4. 18:02
   OpenRouter와 NVIDIA는 라우팅을 모델 선택이 아니라 orchestration 문제로 본다. 외곽 모델과 실행 모델의 역할, KV cache 활용, in-domain과 out-of-domain 판단, 그리고 반복되는 heartbeat 같은 작업까지 포함해 시스템 전체의 경제성을 최적화해야 한다.
5. 31:00
   온디바이스·하이브리드 환경에서는 비용 구조가 더 복잡해지며, self-hosted 모델은 긴 context에서 처리량이 떨어지므로 routing과 compaction을 함께 써야 한다. 앞으로는 모델이 단독으로 똑똑한 것보다, 협업과 delegation에 맞게 학습되고 harness와 함께 공동 설계되는 방향이 더 중요해진다.

실무 인사이트

• 실무에서는 “작은 모델 vs 큰 모델”이 아니라 “어떤 하위 작업을 어떤 모델에 맡기고, 언제 상위 모델이 개입할지”를 기준으로 라우팅 정책을 설계해야 한다.
• 라우팅 품질을 높이려면 프롬프트만 손보지 말고, cache hit, model switch, 실패 시 재위임 같은 운영 신호를 수집해 실제 production data로 계속 재학습해야 한다.
• 비용 최적화의 핵심은 토큰 단가만이 아니라 cache 유지, context 압축, 모델별 token efficiency까지 포함한 전체 시스템 경제성을 보는 것이다.