Don't Let the LLM Drive - Ornella Bahidika & Joel Allou, Microsoft

한 줄 핵심

멀티스텝 에이전트의 신뢰성 문제는 프롬프트를 더 세게 하는 문제가 아니라, 모델이 판단하지 않도록 상태 머신과 하네스로 제어 흐름을 분리하는 문제다.

시간별 요약

1. 0:00
   Ace는 실시간 AI 음성 튜터로, 수업 전체를 안정적으로 끝내기 위해 LLM이 흐름을 주도하지 않게 설계됐다. 멀티스텝 에이전트가 중간에 멈추거나 단계를 건너뛰는 문제는 프롬프트보다 제어 구조의 문제이며, 모델은 역할 수행만 하고 현재 단계 판단은 하네스가 맡아야 한다.
2. 1:03
   수업은 intro, teach, check, grade, advance, wrap 같은 작은 상태 머신으로 쪼개지고, 각 단계마다 모델에는 해당 작업만 수행하라는 명확한 계약이 전달된다. 하네스가 응답을 검증하고 다음 상태를 결정하므로, 모델은 전체 진행 상황을 기억하거나 스스로 종료 시점을 판단할 필요가 없다.
3. 2:02
   실시간 튜터처럼 대화가 왕복하는 시스템에서는 성능뿐 아니라 신뢰성, 비용, 지연시간이 중요하므로 큰 모델을 모든 판단에 쓰는 방식이 비효율적이다. 상태 머신과 하네스 엔지니어링으로 입력을 좁히면, Haiku 4.5 같은 더 작은 모델도 충분한 품질을 내면서 비용과 지연을 줄일 수 있다.
4. 4:02
   하네스는 섹션별 발화 내용, 화이트보드 그리기, 큐 비우기, 수업 종료 같은 개별 동작을 모두 분리해 관리한다. 이렇게 하면 새로운 상황이 들어와도 각 단계가 미리 정의된 규칙 안에서 처리되어, 전체 수업 흐름의 안정성이 크게 높아진다.
5. 5:02
   이 방식은 음성 모델뿐 아니라 coding agents, Ops Run Books, onboarding flows에도 그대로 적용된다. 에이전트의 신뢰성이 동전 던지기 수준이라면, 모델이 결정을 내리게 두지 말고 결정 로직을 바깥으로 빼서 쉬운 입력과 검증 가능한 출력을 주는 구조로 바꿔야 한다.

실무 인사이트

• 에이전트가 불안정할수록 프롬프트 개선보다 상태 머신, 검증, 종료 조건을 먼저 설계하는 편이 효과적이다.
• 큰 모델을 전부에 쓰기보다, 단계별 입력을 좁히고 하네스로 제어하면 더 작은 모델로도 비용·지연시간·신뢰성을 동시에 개선할 수 있다.
• 실무에서는 모델의 '추론 능력'보다 어떤 결정을 모델 밖으로 빼는지가 시스템 품질을 좌우한다.