How to Build Voice Agents That Don't Fall Apart When You Interrupt - Jesse Hall, LiveKit

한 줄 핵심

실시간 음성 에이전트는 단순한 챗봇이 아니라 지연, 턴테이킹, 도구 호출, 평가까지 포함한 전체 대화 시스템으로 설계해야 끊김 없이 사람처럼 대응할 수 있다.

시간별 요약

1. 0:00
   실시간 에이전트와 백그라운드 에이전트 코드 작성이나 리서치처럼 기다릴 수 있는 백그라운드 에이전트와 달리, 전화 상담형 실시간 에이전트는 사용자의 말 끊기, 말 변경, 중간 수정에 즉시 적응해야 한다. 특히 금융처럼 오류 비용이 큰 상황에서는 대화가 자연스럽게 이어지지 않으면 신뢰와 업무 성과가 함께 무너진다.
2. 1:47
   금융 서비스용 인간형 음성 에이전트 음성 에이전트의 핵심은 속도만이 아니라 사람처럼 자연스럽게 반응하는 경험이며, 지연 시간은 그 목표를 위한 제한된 예산에 가깝다. 음성은 가장 자연스러운 인터페이스이기 때문에 실제 서비스에서는 인간다운 상호작용 품질이 경쟁력의 중심이 된다.
3. 3:46
   LiveKit과 음성 파이프라인 LiveKit은 사람의 말과 소리, 영상, 데이터 흐름을 다루는 실시간 오픈소스 프레임워크이며, 여기서는 음성 에이전트에 초점을 맞춘다. 음성은 가장 익숙한 진입점이면서도 구현 난도가 높아, 실시간 상호작용의 핵심 문제들이 집중되는 영역이다.
4. 4:21
   연쇄형 파이프라인과 speech-to-speech 전통적인 음성 에이전트는 STT, LLM, TTS의 3단계 파이프라인으로 구성되지만, 최근에는 이를 대체하는 speech-to-speech 모델도 등장하고 있다. 다만 선택지가 너무 많아졌기 때문에 어떤 모델이든 단독 성능보다 전체 대화 품질 관점에서 판단해야 한다.
5. 5:05
   리더보드만으로는 스택을 고를 수 없는 이유 리더보드는 개별 모델을 평가할 뿐, 실제 서비스처럼 모델들이 연쇄적으로 영향을 주는 대화 전체를 평가하지 못한다. 입력 인식 오류가 뒤 단계로 전파되는 구조와, 실제 사용자 환경의 잡음·불완전한 음성까지 고려하면 자체 시나리오로 스택을 검증해야 한다.
6. 6:46
   첫 바이트가 아니라 첫 오디오 TTS는 dashboard의 time to first byte가 빠르더라도 실제로는 침묵이 길게 이어질 수 있으므로, 사용자가 처음 소리를 듣기까지 걸리는 time to first audio를 봐야 한다. 대화에서는 체감 지연이 핵심이므로, 숫자상 빠름보다 귀로 들리는 응답 시작 시점이 중요하다.
7. 7:52
   첫 토큰이 아니라 첫 문장 LLM의 time to first token이 빠르다고 해서 바로 음성 응답이 빠른 것은 아니며, TTS는 보통 완전한 문장이 있어야 발화를 시작할 수 있다. 따라서 모델 평가는 토큰 속도보다 첫 문장을 얼마나 빨리 만들 수 있는지를 기준으로 봐야 한다.
8. 8:38
   느린 도구 호출을 사람처럼 숨기기 에이전트는 단순 대화가 아니라 조회, 확인, 제출 같은 도구 호출을 수행해야 하며, 이 과정은 지연을 만든다. 핵심은 대화와 도구 실행을 같은 흐름에 묶어 멈추게 하지 않는 것이며, 비동기 처리로 mic를 대화에 다시 돌려줘야 사람이 통화하듯 계속 말할 수 있다.
9. 10:14
   호텔 예약 에이전트 데모 호텔 예약 데모에서는 사용자가 중간에 끼어들고 정보가 순차적으로 저장되는 동안에도 대화가 멈추지 않았다. 백엔드가 응답을 끝내기를 기다리지 않고 다음 질문으로 넘어가며, 오류가 나면 확인하거나 사람에게 넘기는 흐름까지 포함해 자연스러운 상담 형태를 보여준다.
10. 12:33
    언제 듣고 언제 말할지 판단하기 turn detection은 사용자가 말을 끝냈는지 판단하는 기능이며, 단순 전사뿐 아니라 오디오의 리듬, 높낮이, 억양까지 함께 봐야 정확도가 높아진다. 이를 통해 돈 액수처럼 끊어 말하기 쉬운 입력에서도 중간에 끊지 않고 끝까지 듣는 행동을 만들 수 있다.
11. 14:02
    지연 시간 예산 발화의 마지막 음절부터 에이전트의 첫 가청 응답까지가 전체 latency budget이며, 이 안에 모든 모델, 함수, handoff가 들어가야 한다. 약 1.5초를 넘기면 어색해지기 시작하고, 5~600밀리초 수준에 들어가야 사람 같은 대화로 느껴진다.
12. 15:44
    시뮬레이션 발화자로 스택 벤치마킹하기 정답을 찾으려면 완성된 에이전트에 시뮬레이션 발화자를 붙여, 목표 변경·말 끊기·잡음·웅얼거림 같은 실제 상황을 반복 테스트해야 한다. 같은 시나리오에 모델만 바꿔 넣어 결과를 비교하면, 리더보드가 아니라 자신의 사용 사례에 맞는 벤치마크를 만들 수 있다.
13. 18:35
    결과와 출시 전 점검표 실험 결과는 같은 모델이라도 제공 인프라에 따라 속도가 달라질 수 있으며, LiveKit은 음성 워크로드에 맞게 추론을 최적화한다. 출시 전에는 지연 예산 설정, 핵심 정보 확인, 신원 검증, 느린 도구 실행 중 대화 유지, 시뮬레이션 기반 회귀 테스트를 반복해 실제 대화 품질을 검증해야 한다.

실무 인사이트

• 음성 에이전트의 성능 평가는 모델 단독 점수보다 실제 대화 시나리오 전체를 기준으로 해야 하며, 특히 interrupt와 background noise를 포함한 테스트가 필수다.
• 지연 시간 최적화는 절대 속도 경쟁이 아니라 사용자 체감 기준의 예산 관리 문제이므로, time to first audio와 time to first sentence를 별도로 측정해야 한다.
• 도구 호출이 있는 음성 에이전트는 대화와 백엔드 작업을 분리해 비동기로 처리해야 하며, 그래야 사용자가 끼어들어도 흐름이 끊기지 않는다.