Latency Is a Budget. Humanlike Is the Goal. — Jesse Hall, LiveKit

한 줄 핵심

실시간 음성 에이전트는 개별 모델의 속도보다 지연 시간을 예산처럼 관리하고, 사람처럼 끼어들기·맥락 변경·대기 중 응답을 처리하는 전체 시스템 설계가 성패를 좌우한다.

시간별 요약

1. 0:00
   소개 배경 작업형 에이전트는 몇 초 더 걸려도 괜찮지만, 실시간 음성 에이전트는 자연스러움이 중요하므로 다른 기준으로 설계해야 한다.
2. 0:42
   당신도 이런 것과 대화해봤을 것이다 실제 음성 에이전트는 사용자가 말을 끼어들면 쉽게 무너진다. 단순히 더 빠르게 만드는 것만으로는 이 문제를 해결할 수 없다.
3. 1:22
   지연 시간은 예산이다 목표는 단순한 속도 향상이 아니라 사람처럼 들리고 반응하는 음성 AI를 만드는 것이다. 이를 위해서는 모델 선택과 파이프라인 구성이 핵심이다.
4. 2:02
   모델 고르기 음성 에이전트에서 정답은 하나의 모델이 아니라 STT, LLM, TTS의 조합이다. LiveKit은 이러한 실시간 음성 시스템을 위한 오픈소스 프레임워크와 인프라를 제공한다.
5. 2:42
   LiveKit이란 무엇인가 LiveKit은 음성뿐 아니라 영상, 데이터, 피지컬 AI까지 다루는 실시간 프레임워크다. 이 발표는 그중에서도 음성 에이전트의 구조와 평가에 집중한다.
6. 3:26
   실시간 모델과 파이프라인 실시간 모델이 늘어났지만, 음성 서비스는 여전히 여러 모델이 연결된 파이프라인으로 동작한다. 그래서 리더보드 상위 모델을 고르는 것만으로는 실제 성능을 예측할 수 없다.
7. 4:16
   파이프라인 오류가 누적되는 방식 초반의 STT 오인식은 뒤의 LLM과 TTS가 아무리 좋아도 되돌릴 수 없고, 오류는 아래로 연쇄 전파된다. 리더보드 점수는 조용한 깨끗한 음성 환경에서 얻어진 경우가 많아 실제 통화 환경과 다르다.
8. 4:51
   리더보드의 함정 리더보드는 모델 하나를 재는 데는 유용하지만, 실제로 출하하는 것은 대화 전체이므로 잘못된 질문이다. 또한 TTS의 time to first byte나 LLM의 time to first token 같은 지표는 사용자가 실제로 느끼는 지연과 다를 수 있다.
9. 6:06
   측정 지연과 체감 지연 대시보드의 수치와 사용자가 듣는 속도는 다를 수 있으며, 특히 첫 음성 출력까지의 지연이 중요하다. 또 실제 에이전트는 도구 호출에 시간을 쓰므로, 그 시간을 사람처럼 메우는 설계가 필요하다.
10. 7:35
    사람처럼 시간을 버는 법 사람은 조회나 예약이 끝날 때까지 가만히 있지 않고, 잠깐만 기다려 달라며 대화를 이어간다. 에이전트도 작업과 대화를 분리해 백그라운드로 일을 진행하면서 즉시 마이크를 다시 받아야 한다.
11. 8:21
    호텔 접수원 데모 호텔 예약 데모에서는 사용자가 말을 끼어들고 날짜를 바꿔도 대화가 끊기지 않는다. 이 사례는 개별 모델이 아니라 인프라, 프레임워크, 모델이 함께 잘 작동해야 자연스러운 음성 경험이 나온다는 점을 보여준다.
12. 10:26
    오디오 기반 턴 감지 말을 끊을 타이밍은 전체 전사본보다 오디오의 억양, 리듬, 높낮이를 보고 판단하는 편이 더 빠르다. 오디오 기반 턴 감지는 끼어들기를 줄이고, 오픈소스 평가 하네스로 직접 검증할 수 있다.
13. 11:41
    600ms 목표 대화가 자연스럽게 느껴지려면 전체 지연을 600ms 수준까지 줄이는 것이 이상적이다. 이때 중요한 것은 가능한 한 빠른 모델이 아니라, 주어진 시간창 안에 가장 인간적인 시스템을 넣는 것이다.
14. 13:54
    자신의 에이전트를 벤치마크하라 벤치마크는 각자의 에이전트에 맞게 직접 만들어야 하며, 실제 예약 성공 여부와 끼어들기, 날짜·이름 정확도, 개인정보 유출 같은 결과 중심으로 평가해야 한다. LiveKit은 STT, LLM, TTS를 직접 만들지 않기 때문에 다양한 스택을 공정하게 비교할 수 있다.
15. 15:09
    더 빠른 음성 LLM LiveKit inference의 Gemini 4 31B는 생산용 음성 에이전트에 맞게 튜닝되어 약 380ms에 발화 시작이 가능하며, 다음 후보보다 2배 이상 빠르다고 소개된다. 핵심은 속도 경쟁이 아니라 인간적인 상호작용을 유지하는 범위 안에서 최고 품질을 내는 것이다.
16. 15:53
    체크리스트 먼저 지연 예산을 정하고, 체감 지연을 측정한 뒤, 남는 예산을 모델 품질에 써야 한다. 1초를 넘는 작업은 비동기로 처리하고, 부품이 아니라 대화 전체를 평가하면서 운영 환경에서 계속 검증해야 한다.

실무 인사이트

• 실시간 음성 에이전트는 STT, LLM, TTS를 각각 최적화하는 방식보다, 끼어들기·도구 호출·재응답까지 포함한 전체 대화 흐름을 기준으로 설계해야 한다.
• 속도 지표는 time to first byte나 time to first token보다 사용자가 실제로 듣는 첫 음성까지의 시간으로 다시 정의하는 것이 실무적으로 더 유용하다.
• 기성 리더보드보다 자기 서비스의 실제 시나리오와 사용자 행동을 반영한 평가 세트를 만들어야 배포 후 실패를 줄일 수 있다.