Realtime Voice Agents with Frontier Intelligence — Bohan Li, EliseAI

한 줄 핵심

실시간 음성 에이전트의 지연을 줄이기 위해 전사·추론·TTS를 계층화하고, 캐시와 백그라운드 도구 호출로 자연스러운 대화 속도와 정확도를 동시에 확보하는 방법을 보여준다.

시간별 요약

1. 0:00
   자율주행 스택을 빌려온 구조 음성 에이전트를 인식, 계획, 제어의 3단계로 나누어 자율주행 스택처럼 설계하면 복잡한 실시간 대화를 체계적으로 다룰 수 있다. 인식은 음성을 텍스트로 바꾸고, 계획은 언어 모델이 답을 만들며, 제어는 텍스트를 음성으로 바꾸는 역할을 맡는다.
2. 1:52
   추측형 스트리밍 전사기 빠른 스트리밍 전사기 위에 더 정확한 배치 전사기를 겹쳐서, 먼저 나온 결과를 쓰되 뒤늦은 수정으로 정확도를 보완한다. 문맥을 더 많이 아는 느린 층이 이름이나 생년월일 같은 중요한 부분을 바로잡고, 불필요한 기호 수준 수정은 흘려보내 지연을 줄인다.
3. 4:24
   기다리지 않고 생성하고 백그라운드로 도구를 호출하기 사용자 발화를 완전히 끝까지 기다리지 않고도 미리 응답 생성을 시작해 반응 속도를 높인다. 동시에 백그라운드 에이전트가 도구 호출을 처리해 이름과 생년월일 같은 정보를 찾고, 최종 전사가 도착하면 잘못된 추론은 취소하고 올바른 컨텍스트로 다시 생성한다.
4. 6:06
   스트리밍 음성 합성 TTS는 완성된 문장을 기다리지 말고 생성 중인 텍스트를 즉시 오디오로 바꿔야 지연을 숨길 수 있다. 앞부분 음성을 먼저 재생해 두면 뒤의 생성 시간을 덮을 수 있고, 결과적으로 사용자는 더 빠른 응답처럼 느낀다.
5. 6:57
   접두사 캐시 이전 생성에서 이미 만든 음성은 접두사 단위로 재사용해 TTS 비용과 지연을 줄인다. 흔한 문구는 캐시에 잘 맞고, 이름처럼 변동이 큰 부분에서만 cache miss가 발생해 실제로 새로운 음성을 생성하게 된다.
6. 8:37
   캐시와 공급자 사이의 이음새를 숨기기 캐시가 먼저 재생한 뒤에는 공급자 Cartesia가 전체 문장을 자연스러운 억양으로 다시 생성하더라도, 이미 들린 구간을 억제해 중복 재생을 막는다. 이 방식은 내부적으로는 두 경로를 섞지만 사용자에게는 끊김이 거의 없는 단일 음성 흐름처럼 보이게 만든다.
7. 10:21
   완전한 클리닉 예약 통화 실제 예약 통화 예시는 전사, 응답 생성, 도구 호출, 캐시, TTS가 동시에 돌아가며 자연스러운 상담을 만드는 과정을 보여준다. 의료·주거 같은 중요한 영역에서는 이런 하네스 설계가 대화 품질과 속도를 함께 끌어올리는 핵심이 된다.

실무 인사이트

• 실시간 음성 에이전트는 모델 성능만이 아니라 전사·도구 호출·TTS를 분리해 지연을 겹쳐 숨기는 하네스 설계가 성능을 좌우한다.
• 정확도와 속도는 상충하지 않으며, 빠른 추정 경로와 느린 정정 경로를 병렬로 두면 사용자 체감 품질을 유지하면서 응답 시간을 줄일 수 있다.
• 자주 반복되는 말은 접두사 캐시로 재사용하고, 변동이 큰 부분만 새로 합성하도록 설계하면 비용과 지연을 동시에 줄일 수 있다.