Your Voice Agent is Just a Walkie Talkie — Neil Zeghidour, Gradium

한 줄 핵심

음성 에이전트는 대화의 자연스러움만으로는 완성되지 않으며, 실제 지능과 도구 실행을 유지하면서도 full duplex 상호작용을 구현하려면 인터페이스와 추론을 분리하는 하이브리드 구조가 가장 현실적이다.

시간별 요약

1. 0:00
   음성 중심으로 설계된 연구 랩과 Gradium Gradium는 파리 기반의 모델 회사로, audio LLMs와 speech-to-speech 모델, neural codec 같은 음성 기술을 연구해 왔다. Moshi, Hibiki, 스마트폰에서 로컬로 실행되는 TTS 같은 성과를 바탕으로, 음성 에이전트와 음성 애플리케이션을 위한 기반 모델을 만든다.
2. 1:55
   2011년 Siri와 그 뒤의 파이프라인 초기 음성 비서는 STT, 자연어 이해, 앱 분기, TTS로 이어지는 복잡한 파이프라인 위에 있었고, 기능도 매우 제한된 폐쇄형 대화에 가까웠다. 당시에는 LLM이 없었기 때문에 사용 의도 분류와 명령 실행이 핵심이었지만, 범용적인 대화는 거의 불가능했다.
3. 3:39
   열린 대화는 가능하지만 에이전트성은 없다 OpenAI의 초기 voice mode처럼 LLM이 중심이 되면서 대화 자체는 훨씬 자연스럽고 범용적으로 열렸지만, 날씨나 주가처럼 외부 행동을 수행하는 능력은 거의 없었다. 자연스러움은 개선됐지만 지연은 여전히 컸고, 실제 작업을 맡길 수 있는 에이전트로는 부족했다.
4. 5:18
   실제 행동을 수행하는 드라이브스루 에이전트 드라이브스루 주문 데모는 대화를 유지하면서 주문 상태를 추적하고 결제까지 이어지는 실제 에이전트의 모습을 보여준다. 이 단계에서는 단순한 대화 인터페이스가 아니라 tool call, reasoning, planning을 갖춘 실행 주체가 되어야 한다.
5. 7:48
   speech-to-speech가 아직 부족한 지점 speech-to-speech는 자연스러움과 지연 면에서 강점이 있지만, 텍스트 기반 시스템보다 지능이 떨어지는 한계가 여전히 크다. 특히 모델이 말하거나 듣는 식의 turn-taking에 묶여 있어, 인간 대화처럼 겹쳐 말하거나 끼어드는 상호작용을 잘 처리하지 못한다.
6. 8:37
   백채널링이 턴테이킹을 깨뜨리는 방식 상대의 말을 들으며 중간에 “mhm”, “yeah”처럼 반응하는 백채널링은 인간 대화의 자연스러운 일부지만, turn-taking 기반 모델에는 오히려 방해가 된다. 사람 대화는 서로 20% 정도 동시에 말하기도 하는데, 이런 겹침과 끼어듦을 허용하지 못하면 상호작용이 부자연스럽고 답답해진다.
7. 10:20
   원시 오디오를 언어 모델에 넣을 수 없는 이유 원시 오디오는 24 kHz 기준으로 짧은 문장도 수만 개의 시계열 스텝이 되어 LLM에 직접 넣기에는 너무 길고 비싸다. 그래서 neural codec이나 audio tokenizer로 오디오를 압축한 뒤, 텍스트처럼 추상화된 토큰 공간에서 모델을 학습해야 한다.
8. 11:57
   하나의 시퀀스 대신 두 개의 스트림 full duplex를 만들기 위해서는 단일 토큰 시퀀스가 아니라 두 개의 스트림을 동시에 모델링해야 한다. 이렇게 하면 양쪽이 동시에 활성화될 수 있어 대화 흐름이 끊기지 않고, noisy environment에서도 더 안정적으로 상호작용할 수 있다.
9. 13:37
   자연스러움과 지능 사이의 긴장 음성 모델이 더 자연스러워질수록 텍스트 모델보다 덜 똑똑해지는 경향이 있었고, 이는 음성 이해와 생성이 모델 용량을 차지하기 때문이다. 따라서 실제 음성 에이전트는 자연스러움만 추구할 수 없고, 지능과 도구 신뢰성을 함께 유지해야 한다.
10. 15:18
    경로 하나: speech-to-speech 모델을 더 크게 키우기 첫 번째 경로는 speech-to-speech 모델 자체를 더 크게 만들고, 사전학습과 사후학습을 강화해 점진적으로 지능을 끌어올리는 방식이다. 다만 하나의 거대한 멀티모달 모델로 모든 것을 처리해야 하므로 구축과 배포가 복잡하고 비용도 매우 크다.
11. 17:00
    경로 둘: 인터페이스와 지능을 분리하기 두 번째 경로는 자연스러운 full duplex 음성 인터페이스와 강력한 백엔드 텍스트 모델을 분리하는 하이브리드 구조다. 이 방식은 비용 효율적이고 모델 교체의 유연성이 높으며, 데모용 자연스러움과 실제 업무용 지능을 동시에 만족시킬 가능성이 크다.

실무 인사이트

• 실제 음성 제품은 대화의 부드러움보다도 도구 호출, 상태 추적, 예외 처리 같은 에이전트 기능이 먼저 안정화되어야 한다.
• full duplex 경험을 만들려면 모델 성능만이 아니라 턴테이킹, 백채널링, 끼어들기 같은 인간 대화 규칙을 설계에 반영해야 한다.
• 비용과 지능, 자연스러움을 모두 잡으려면 음성 인터페이스와 추론 백엔드를 분리하는 아키텍처가 가장 현실적인 선택지다.