Can Your Agent Hear You Now? Building Live Voice Agents with Gemini — Thor Schaeff

한 줄 핵심

Gemini Live API와 Gemini 3.1 Flash Live를 활용해 지연이 낮은 음성·비전 기반 실시간 대화 에이전트를 만들고, 번역·음악 생성·멀티모달 데모까지 바로 시연하는 방법을 보여준다.

시간별 요약

1. 0:00
   소개 Gemini API로 만드는 에이전트와 실시간 음성 경험을 예고하며, 행사 분위기를 살리기 위한 TTS 샘플을 먼저 들려준다.
2. 0:56
   Gemini TTS 맞히기 샘플 음성이 Gemini TTS임을 밝히고, 표현력이 좋고 스트리밍 가능하며 지연이 낮아져 실사용 가능한 텍스트-음성 모델이 되었음을 강조한다.
3. 2:01
   Thor 소개 Google DeepMind의 개발자 경험과 Gemini API, Google AI Studio를 담당하는 역할을 소개하고, 오늘은 멀티모달·실시간 에이전트와 새로 공개된 모델들을 중심으로 살펴본다.
4. 3:15
   오늘 공개된 내용 Omni Flash와 Nano Banana Light가 새로 공개되었고, 특히 Nano Banana Light는 이미지 생성·편집의 지연을 크게 줄여 데모에 유용하다고 설명한다.
5. 3:45
   삽화가 있는 스토리 캔버스 데모 Gemini가 짧은 이야기를 만들고 Nano Banana Light가 그 이야기를 즉석에서 그림으로 바꾸는 흐름을 보여주며, tool call을 통해 2~3초 수준으로 이미지를 생성할 수 있음을 시연한다.
6. 5:42
   Interactions API Interactions API가 이전 interaction ID를 이어받는 상태 저장형 API이기 때문에, 연속 생성에서도 이전 맥락과 시각적 일관성을 유지할 수 있다고 설명한다.
7. 7:07
   Gemini Live Translate 데모 마이크 입력을 받아 실시간으로 다른 언어로 번역해 주는 live translate를 시연하고, 자동 언어 감지와 근실시간 번역이 국제 행사에서 특히 유용하다고 보여준다.
8. 10:21
   Gemini 3.1 Flash Live Gemini 앱에서 쓰이는 실시간 대화 모델이 Gemini 3.1 Flash Live이며, AI Studio에서 만든 라디오 DJ형 데모로 이 모델의 대화형 특성을 소개한다.
9. 10:56
   Lyria 3로 만드는 AI 라디오 DJ 데모 Gemini Live가 진행을 맡고 함수 호출로 Lyria 3를 불러 즉석 음악을 생성하는 구조를 보여주며, 다국어 응답과 도구 호출을 갖춘 실시간 대화형 에이전트의 가능성을 강조한다.
10. 14:13
    Live API의 동작 방식 Live API는 저지연의 상태 저장형 websocket API로, 텍스트·오디오·비디오 프레임을 실시간으로 보내고 오디오 청크와 전사를 함께 돌려받는 구조라고 설명한다.
11. 15:07
    파이프라인이 아닌 네이티브 오디오 기존의 text 기반 음성 파이프라인과 달리 모델 안에 오디오 지능이 직접 들어 있어, 90개 언어를 자연스럽게 지원하고 중간에 끼어들기·도구 사용·전사가 가능하다고 정리한다.
12. 16:06
    LiveKit과 Pipecat 파트너 실시간 미디어를 대규모로 다루기 어렵기 때문에 LiveKit, Pipecat 같은 파트너 생태계를 활용하면 Gemini Live API를 더 빠르게 붙이고 운영할 수 있다고 안내한다.
13. 16:31
    AI Studio에서 사용해 보기 AI Studio에서 Gemini 3.1 Flash Live와 다른 음성을 선택해 바로 시험할 수 있고, Google Search grounding을 켜면 최신 정보를 호출하는 built-in function call처럼 활용할 수 있다고 보여준다.
14. 17:55
    음성·비전·Mandarin 데모 카메라와 마이크를 함께 사용해 사용자를 보고 옷의 문구를 읽으며, Mandarin까지 응답하는 모습을 통해 음성·비전·다국어가 한 세션에서 자연스럽게 결합됨을 입증한다.
15. 19:42
    마무리 Gemini Live API로 더 많은 실시간 멀티모달 애플리케이션을 만들어 보라고 독려하며, 다음 워크숍 세션에서 더 자세히 다루겠다고 마무리한다.

실무 인사이트

• 실시간 음성 에이전트는 단순한 STT/TTS 조합보다 네이티브 오디오 모델과 상태 저장 세션을 활용할 때 지연과 상호작용 품질을 크게 줄일 수 있다.
• 번역, 라디오 DJ, 스토리 삽화처럼 데모가 화려해 보여도 핵심은 동일한 구조이므로, 실제 서비스에서는 CRM 조회나 티켓 생성 같은 업무 도구 호출로 바로 전환해 설계할 수 있다.
• AI Studio와 LiveKit, Pipecat 같은 도구를 함께 쓰면 프로토타입부터 운영 단계까지 이어지는 실시간 멀티모달 개발 속도를 높일 수 있다.