Voice Agents That Handle Interrupts - Chintan Agrawal and Daniel Wirjo, AWS

한 줄 핵심

음성 에이전트의 체감 품질은 LLM 성능보다 말 끊김과 턴 전환을 얼마나 빠르고 정확하게 처리하느냐에 달려 있으며, 이를 위해 VAD, STT 내장 턴 감지, 로컬 Smart Turn을 조합한 설계가 필요하다.

시간별 요약

1. 0:03
   음성 에이전트의 핵심 문제는 사용자가 말을 끝냈는지, 중간에 끼어들었는지를 시스템이 얼마나 빨리 감지하느냐에 있다. 같은 모델과 같은 프롬프트라도 오디오 파이프라인과 턴 전환 처리 방식이 다르면 사용자 경험은 완전히 달라진다.
2. 4:01
   기본 파이프라인은 STT, LLM, TTS로 구성되지만, 실제 턴 전환은 앞단의 VAD와 interruption handler가 좌우한다. 단순 침묵 감지는 빠르지만 맥락을 모르고, STT 내장 endpointing은 더 똑똑하지만 내부 판단 과정을 볼 수 없다.
3. 10:03
   Level 3의 VAD + Smart Turn 조합은 로컬 VAD를 안전장치로 두고, 침묵 구간에 작은 모델로 발화 종료 여부를 추가 판단한다. Smart Turn은 완벽하진 않지만 빠른 응답과 안전한 응답을 분기해 주며, 바지인(barge-in) 상황에서는 단순 차단이 아니라 침묵·추임새·수정 발화를 구분하는 방향으로 발전한다.
4. 15:03
   지연 시간의 대부분은 네트워크, STT, LLM에 들어가며, 특히 LLM time to first byte가 가장 큰 병목이다. 일반적인 클라우드 API 조합은 약 800~1,300ms 수준이지만, 같은 GPU 클러스터에 모델을 붙이면 약 500ms까지 줄일 수 있고, 음성에서는 P50보다 P95 꼬리가 더 중요하다.
5. 22:01
   실습 데모에서는 Silence detection, STT 내장 turn detection, Smart Turn을 순서대로 비교하며 각 방식의 장단점을 확인한다. Silero VAD는 빠르지만 조기 차단이 쉽고, STT 내장 방식은 문장 완료를 더 잘 잡아내며, Smart Turn은 로컬 제어와 커스터마이징이 가능해 실제 배포에 유리하다.

실무 인사이트

• 음성 에이전트는 모델보다 파이프라인 설계가 품질을 좌우하므로, 응답 속도뿐 아니라 사용자 끼어들기와 침묵 처리 정책을 먼저 정해야 한다.
• 실전에서는 단일 감지 방식보다 VAD를 안전망으로 두고 STT endpointing이나 Smart Turn을 얹는 하이브리드 구성이 가장 안정적이다.
• 평가할 때는 평균 지연보다 P95와 잘못된 중단율, escalation rate를 함께 봐야 실제 사용자 이탈을 줄일 수 있다.