Your Voice Agent Doesn't Need a Frontier Model - Joel Allou & Ornella Bahidika, Microsoft

한 줄 핵심

실시간 음성 에이전트에서는 최고 성능의 frontier model보다 지연 시간을 맞출 수 있는 작은 모델에 추론·상태 관리·흐름 제어를 코드로 분리하는 설계가 더 유리하다.

시간별 요약

1. 0:00
   Ace는 라이브 AI 음성 튜터이며, 의도적으로 작은 모델로 동작한다. 음성 대화에서는 1초의 멈춤만으로도 대화가 끊긴 것으로 인식되므로, 핵심 제약은 지능이 아니라 밀리초 단위의 응답 속도다.
2. 1:00
   모델이 해야 할 일을 최소화하고, 다음 진행, 학생 상태 추적, 설명 흐름 같은 어려운 부분은 시스템이 담당한다. 매 턴마다 요약을 모델에 넣어 주고, 모델은 말하기만 맡는 구조가 응답 속도와 안정성을 동시에 높인다.
3. 2:00
   Claude 4.7 같은 frontier model은 추론은 뛰어나지만, 음성 앱에서는 그 추론 시간이 오히려 병목이 된다. 그래서 모든 사고를 state machine과 코드 바깥의 로직으로 빼고, 모델은 최종 발화만 생성하도록 설계한다.
4. 3:01
   비교 예시에서는 Opus 4.7이 몇 초를 쓰는 반면, Haiku 4.5는 같은 질문에 약 900 milliseconds 만에 반응한다. 생각과 판단을 코드로 옮기면 더 작은 모델로도 실시간 음성 경험을 만들 수 있고, 비용도 함께 줄어든다.
5. 4:01
   작은 모델은 scaffolding이 없으면 긴 구조를 잘 유지하지 못하므로 엄격한 규칙이 필요하다. 하지만 그 비용은 한 번만 코드로 지불하면 되므로, 지연 예산에 맞는 가장 빠른 모델을 고르고 나머지는 state machine과 하네스로 보완하는 전략이 실용적이다.

실무 인사이트

• 실시간 음성 서비스는 모델 성능보다 응답 지연이 더 중요한 경우가 많으므로, 추론을 모델 밖으로 빼는 설계가 가장 먼저 검토할 선택지다.
• 대화 상태, 다음 액션, 오류 대응을 state machine으로 고정하면 작은 모델도 일관된 응답을 유지하기 쉬워진다.
• 토큰과 추론 비용을 줄이려면 매 턴 전체 맥락을 넣기보다, 시스템이 만든 요약과 필요한 상태만 주입하는 방식이 효과적이다.