The Frontier AI Inference Cloud for Agents — Byung-Gon (Gon) Chun, FriendliAI

한 줄 핵심

에이전트 시대에는 요청 단위가 아니라 작업 단위로 추론 인프라를 설계해야 하며, 프리픽스 캐시·캐시 인지 라우팅·에이전트 인지 최적화를 통해 open weight 모델을 생산적으로 더 빠르고 저렴하게 쓸 수 있다는 주장이다.

시간별 요약

0:00
연속 배칭을 만든 팀과 에이전트 추론의 필요성 Friendly AI는 에이전트를 위한 frontier AI inference cloud를 만들고 있으며, 연속 배칭을 처음 구현한 연구팀의 계보를 기반으로 한다. 에이전트가 소프트웨어 운영과 지식노동 전반에서 급속히 확산되고, open weight 모델이 충분한 품질과 낮은 토큰 비용을 갖추면서 생산 환경에서 경제성이 커졌다고 본다.
2:06
하나의 작업, 두 모델, 하나의 비용 같은 코드형 에이전트 작업을 GLM 5.2와 Anthropic의 Opus 4.8에 실행해도 둘 다 실사용 가능한 수준의 결과를 낸다. 다만 비용은 크게 달라서 Opus 4.8은 약 $1.50, GLM 5.2는 27 cents로, open weight 모델이 frontier급 품질을 훨씬 낮은 비용에 제공할 수 있음을 보여준다.
3:18
단위는 요청이 아니라 작업 기존 채팅은 하나의 요청-응답이 기본 단위였지만, 에이전트는 여러 LLM 호출과 도구 호출이 섞인 세션 전체가 기본 단위다. 각 단계에서 관찰 결과가 컨텍스트에 계속 누적되고, 서브에이전트까지 병렬로 돌기 때문에 개별 요청 지연보다 작업 완료 시점의 end-to-end 지연이 더 중요해진다.
5:25
연속 단계는 거대한 접두사를 공유한다 에이전트의 연속된 단계들은 보통 큰 prefix를 공유하므로, 매번 같은 prefix를 다시 계산하면 이미 한 작업을 반복하는 셈이 된다. deep research 같은 장기 작업에서는 수십에서 수백 번의 추론과 도구 호출이 이어지고 컨텍스트가 계속 커지므로, 작업이 길수록 prefix 재사용과 end-to-end 최적화의 가치가 커진다.
7:02
에이전트형 추론 클라우드의 네 가지 축 Friendly AI는 작업 단위 지연을 줄이기 위해 prefix caching, KV cache 관리, cache aware routing, agent aware optimization의 네 축으로 스택을 설계한다. prefix는 한 번 계산해 재사용하고, KV cache는 메모리·host·disk를 계층적으로 활용해 관리하며, 분산 캐시로 여러 replica에서 prefix를 공유한다.
9:19
캐시 인지 라우팅과 단순 로드 밸런서의 차이 단순 로드 밸런서는 요청을 고르게 분산하지만 캐시 locality를 깨뜨릴 수 있다. 반면 cache aware router는 이미 필요한 prefix를 가진 파티션으로 요청을 보내 prefill을 cache hit으로 바꾸면서도, 특정 파티션에 부하가 몰리지 않도록 균형을 함께 맞춘다.
10:04
에이전트 인지 최적화 대부분의 시스템은 각 LLM 호출을 독립적으로 스케줄하지만, 실제로는 더 긴 에이전트 프로그램의 일부라는 맥락을 반영할 수 있다. 에이전트 수준 컨텍스트를 알면 적절한 선점, 다음 단계의 선제적 prefill, 더 나은 cache eviction 같은 결정을 통해 한 번의 호출이 아니라 전체 작업 지연을 줄일 수 있다.
11:00
같은 작업을 두 제공자에서 끝까지 비교 같은 모델 GLM 5.2로 모바일 게임을 만들 때 Friendly AI와 다른 추론 제공자를 비교하면, Friendly AI가 같은 작업을 더 빠르고 안정적으로 완료한다. 이 조합은 open weight frontier 모델의 품질과 Friendly AI의 속도·신뢰성·비용 효율을 함께 활용하게 하며, Model API·Dedicated endpoints·BYOG로 다양한 배포 방식을 지원한다.

실무 인사이트

에이전트용 추론 최적화는 요청 지연이 아니라 작업 완료 지연을 KPI로 잡아야 하며, 캐시·라우팅·스케줄링도 그 기준으로 재설계해야 한다.
open weight 모델을 도입할 때는 모델 성능만 보지 말고, KV cache 관리와 cache aware routing 같은 인프라가 실제 비용과 체감 속도를 크게 좌우한다.
코딩 에이전트나 장기 연구 워크플로우처럼 컨텍스트가 누적되는 작업에서는 prefix 재사용과 에이전트 맥락 반영이 가장 큰 성능 레버리지다.