Voice Agents Can Just Do Things — Charlie Guo, OpenAI

한 줄 핵심

음성 에이전트는 단순히 말로 되받아치는 도구가 아니라, 말하기·행동하기·이벤트 알림을 조합해 기존 소프트웨어를 더 자연스럽고 접근성 있게 바꾸는 인터페이스가 될 수 있다.

시간별 요약

0:00
말로 되받아치기라는 오해 음성 에이전트가 반드시 음성으로만 응답해야 한다는 생각이 핵심 오해이며, 실제로는 speech to speech, speech to action, event to speech라는 세 가지 상호작용 방식이 열려 있다. 이 세 방식은 새로 등장한 개념이 아니라 오래전부터 존재해 왔지만, 지금은 모델 성능이 충분히 올라와 훨씬 흥미로운 방식으로 설계할 수 있다.
1:57
새롭지 않지만 조합 가능한 세 가지 모드 speech to speech, speech to action, event to speech는 서로 배타적이지 않고 섞어서 쓸 수 있는 모드다. 좋은 제품은 하나의 방식만 고집하지 않고, 상황에 따라 여러 모드를 결합해 더 자연스러운 경험을 만든다.
2:48
말-말 상호작용의 활용처 언어 학습 코칭, 고객 지원, 실시간 번역처럼 사용자가 말하면 모델이 말로 되돌려주는 경험은 이미 강력한 효용을 낸다. 특히 최근의 음성 모델은 감정·억양을 더 잘 담고 지연도 줄어들어, 전화 응대보다 더 만족스러운 지원 경험까지 가능해지고 있다.
4:29
말-행동과 능력의 격차 speech to action은 모델이 도구를 사용해 실제 작업을 수행하는 영역이며, 아직 충분히 탐색되지 않은 큰 기회로 제시된다. 서식 작성, 창작 도구, 컴퓨터 사용처럼 사용자의 의도를 말로 전달해 기존 앱과 소프트웨어를 직접 조작하는 흐름이 특히 유망하다.
6:58
기존 앱을 도구로 바꾸기 현대 웹 애플리케이션은 이미 API endpoints, React hooks 같은 형태로 많은 동작을 노출하고 있어, 이를 모델이 쓸 수 있는 tool로 바꾸는 일이 생각보다 쉽다. 다만 안전장치와 가드레일은 여전히 필요하며, 말로 소프트웨어를 조작할 때도 알림·상태 변화·하이라이트 같은 비언어적 피드백을 함께 써야 한다.
7:48
이벤트에서 말로, 그리고 손이 자유롭지 않은 맥락 event to speech는 모델이 이벤트를 받아 사용자에게 말로 알리는 방식으로, 아직은 실험 단계지만 AI native한 경험의 가능성이 크다. 손을 쓸 수 없거나 화면을 볼 수 없는 상황, 또는 중요한 이벤트를 먼저 알려야 하는 상황에서 음성은 시각적 알림보다 더 높은 우선순위의 전달 수단이 될 수 있다.
9:26
접근성에서 열리는 가능성 음성 에이전트는 손의 기능이나 손재주를 잃은 개발자처럼 기존 방식으로 일하기 어려운 사람들에게도 새로운 생산성을 제공할 수 있다. 또한 차량 내 보조, 게임, 다중 모드 인터페이스처럼 여러 입력·출력 방식을 한 시스템으로 묶는 경험을 더 자연스럽게 만들 수 있다.
12:45
추론, 도구 호출, 그리고 사전 안내 GPT realtime 2는 음성 매체에 reasoning을 넣어, 말하기 전에 생각하고 병렬 tool calls를 수행할 수 있게 만든다. 여기에 preambles를 더하면 사용자가 기다려야 하는 이유를 먼저 알려 주어, 지연이 있어도 상호작용이 더 자연스럽고 신뢰할 만해진다.
14:23
음성이 맡는 역할부터 묻기 음성 에이전트를 만들 때는 어떤 에이전트를 만들지보다, 이 상호작용에서 음성과 오디오가 어떤 역할을 해야 하는지를 먼저 정의해야 한다. 그다음에 모델이 무엇을 인지하고 어떤 맥락을 가지며 어떤 도구를 안전하게 실행할지 결정해야, 더 풍부한 경험을 설계할 수 있다.

실무 인사이트

기능 설계는 '음성 응답'을 기본값으로 두기보다, 말하기·행동·알림 중 무엇이 가장 적절한지 먼저 정하면 더 좋은 UX로 이어진다.
기존 앱을 음성 에이전트로 바꾸는 가장 현실적인 출발점은 API endpoint와 UI 동작을 tool로 노출하는 것이다.
지연이 있는 음성 에이전트는 preambles 같은 사전 안내를 넣어야 신뢰와 사용성이 함께 올라간다.