Speech-to-Speech Model Research at Google DeepMind — Valeria Wu Fon & Tom Ouyang, Google DeepMind

한 줄 핵심

Google DeepMind는 음성 입력·출력, 번역, 멀티모달 이해, 에이전트 행동을 하나의 speech-to-speech 모델로 통합해 자연스럽고 실시간인 차세대 음성 인터페이스를 구현할 수 있다고 주장한다.

시간별 요약

1. 0:00
   왜 음성이고, 왜 지금인가 음성은 사람이 물리적·가상 세계와 상호작용하는 가장 자연스러운 방식이며, 검색·교육·기업용 음성 에이전트까지 적용 범위가 빠르게 넓어지고 있다. 별도 ASR과 TTS를 이어 붙이는 방식보다, 하나의 speech-to-speech 모델이 더 강건한 범용 음성 에이전트를 만들기에 적합하다.
2. 1:51
   2018년 이전의 음성 인식 2018년 이전의 음성 인식은 특징 추출, 음향 모델, 발음 모델, 언어 모델, 재순위화 같은 여러 구성요소로 나뉜 복잡한 파이프라인이었다. 이후 종단간 시스템으로 발전했지만 여전히 전사는 한 가지 일만 수행했고, 억양·감정·속도나 번역·응답 같은 기능은 별도 시스템으로 쌓아야 해서 확장이 어려웠다.
3. 3:27
   본질적으로 멀티모달인 사전 학습 Gemini 계열은 텍스트만이 아니라 오디오·비디오·텍스트가 섞인 예시로 사전 학습되어, 입력과 출력의 여러 양식을 하나의 토큰 공간에서 함께 학습한다. 이 구조 덕분에 음성을 텍스트로 옮기고, 비디오를 설명하고, 텍스트로부터 오디오를 생성하는 다양한 작업을 같은 기반 위에서 다룰 수 있다.
4. 4:19
   오프라인 수준의 품질을 가진 스트리밍 번역 실시간 번역은 여러 언어를 동시에 다루고, 화자의 목소리를 보존하며, 잡음과 다중 화자 환경에서도 즉시 동작해야 해서 기존의 캐스케이드 방식으로는 매우 어렵다. 하지만 멀티모달·다국어 능력이 이미 학습된 LLM에서는 복잡한 시스템 설계 대신 프롬프트로 자연스럽게 구현되며, 스트리밍 품질이 오프라인 번역과 비슷한 수준에 도달한다.
5. 6:01
   대화성, 지능, 멀티모달성의 세 축 speech-to-speech 모델은 낮은 지연과 자연스러운 대화성, 과제 수행·추론·지시 따르기 같은 지능, 그리고 오디오 입출력에 더해 비디오·화면 공유·PDF까지 다루는 멀티모달성을 동시에 만족해야 한다. 특히 비영어권 사용자가 많기 때문에 EN-US뿐 아니라 다양한 언어에서 이 세 축을 함께 맞추는 것이 핵심 과제로 제시된다.
6. 7:44
   한 가지를 올리면 다른 것이 무너진다 지능을 높이기 위해 thinking을 키우면 평가 점수는 좋아질 수 있지만, 지연 시간과 첫 오디오까지의 시간, 대화의 자연스러움이 악화될 수 있다. 결국 연구의 목표는 세 축을 크게 희생하지 않으면서 균형 있게 끌어올리는 것이며, 그 트레이드오프가 가장 큰 난점이다.
7. 8:37
   다중 화자 회의에서의 실시간 번역 Google Meets의 다중 화자 환경에서 70+ 언어를 지원하는 실시간 번역이 작동하며, 사용자는 원하는 언어만 선택하면 여러 사람이 번갈아 말하는 대화를 자연스럽게 따라갈 수 있다. 동시에 화면과 음성을 입력으로 받아 검색 카드를 띄우거나, 스페인어를 지역에 맞게 현지화하는 등 멀티모달 출력과 대화 유연성도 함께 보여준다.
8. 12:14
   압박 속 로드사이드 지원 에이전트 타이어 펑크처럼 긴급한 상황에서도 동일한 모델이 알파뉴메릭 정보인 차량 번호판·우편번호를 정확히 처리하고, 외부 소음이나 다른 사람의 발화가 있어도 대화를 끊지 않는 proactive audio 동작을 보인다. 실제 사용 환경이 조용한 사무실이 아니라 이동 중인 현실 세계라는 점을 전제로 설계되어야 한다.
9. 14:48
   시각적 존재감 더하기 음성 출력만으로는 부족하고, 아바타 형태의 시각적 존재감까지 더해야 진짜 대화형 AGI 경험에 가까워진다. 실시간 립싱크, 다국어 대화, 도구 호출, 멀티모달 입력·출력을 결합하면 음성·행동·브랜딩이 하나로 이어진 더 몰입적인 에이전트 경험을 만들 수 있다.

실무 인사이트

• 실시간 음성 제품은 ASR·TTS를 따로 붙이기보다, 번역·대화·도구 사용을 한 모델에서 해결하는 방향이 확장성과 품질 면에서 유리하다.
• 지연 시간, 자연스러움, 지능은 서로 충돌하기 쉬우므로 제품 설계 단계에서 우선순위를 분명히 정하고 평가 지표도 함께 묶어야 한다.
• 회의·고객지원·검색 같은 실제 사용처에서는 다중 화자 처리, 잡음 내성, 숫자·주소 같은 정확도가 체감 품질을 좌우한다.