Tolan: Voice-First AI Companion — Paula Dozsa, Tolan

한 줄 핵심

Tolan은 음성 대화의 빠른 턴과 불안정한 문맥에 맞춰 지연·메모리·컨텍스트를 새로 설계하고, 내부적으로도 에이전트와 eval로 개발 속도와 품질을 함께 끌어올린 음성 우선 AI 동반자다.

시간별 요약

0:00
인간이 오래 상상해 온 동반자 사람들이 바라는 이상적인 동반자는 자신을 더 나은 자신으로 만들고, 기억하고, 오롯이 자신만의 존재로 남는 존재이며, Tolan은 이런 욕망을 구현한 음성 중심 AI 동반자다. 텍스트보다 음성에서 관계의 몰입감이 커지며, 실제로도 수백만 시간의 음성 대화를 통해 그 성격이 드러난다.
2:45
음성이 LLM 앱의 전제를 무너뜨리는 이유 음성 대화는 텍스트 챗봇과 달리 턴이 매우 빠르고, 사용자가 대화 중간에 주제를 바꾸거나 끼어들기 쉬워서 기존 LLM 앱의 안정적 문맥 가정이 깨진다. 따라서 2초 안팎의 왕복 지연을 유지하지 못하면 대화처럼 느껴지지 않는다.
3:38
모든 것을 망가뜨린 0.5초 지연이 2초에서 2.5초로 늘어난 것만으로도 사용자 불만이 급증할 만큼, 음성 경험에서는 체감 지연이 제품 품질 자체가 된다. 끼어들기 감지와 턴 전환을 정교하게 다듬어 성급한 발화를 줄이고, 그 대가로 약 60밀리초의 추가 지연은 감수했다.
5:20
파이프라인의 각 단계를 따로 재는 법 지연은 마지막 숫자가 아니라 원인별로 분해해 봐야 개선할 수 있으며, 발화 종료 감지·전사·첫 토큰 생성·TTS 시작을 각각 측정해야 병목이 보인다. 응답 모델을 GPT-5.1로 바꾸면서 시간-투-스피치가 0.7초 이상 줄었고, 대화의 성격에 따라 더 큰 모델과 더 작은 모델을 나누어 쓰는 구조가 필요해졌다.
6:12
비용이 아니라 중요도로 라우팅하기 첫 대화, 온보딩, 감정적으로 민감한 순간처럼 관계의 중요도가 높은 구간에는 항상 최고 성능 모델을 쓰고, 가벼운 왕복이나 배경 작업은 더 작고 빠른 모델에 맡긴다. 이런 라우팅은 단순한 비용 절감이 아니라, 전체 품질을 크게 해치지 않으면서 단위 경제성을 맞추는 핵심 장치다.
7:52
기억은 재검색이고, 밤마다 압축된다 긴 대화 기록을 통째로 붙잡고 가는 방식은 음성의 짧은 루프와 맞지 않기 때문에, 사실·선호·감정 신호를 추출해 벡터 DB에 저장하고 필요할 때 다시 검색하는 구조를 쓴다. 매일 밤 중복 제거, 클러스터링, 모순 해소를 수행해 기억을 압축하고, 안정 기억과 불안정 기억을 분리해 관리한다.
8:43
컨텍스트는 재사용하지 말고 다시 조립하기 음성 대화에서는 이전 턴의 컨텍스트를 그대로 재사용하면 사용자가 방향을 바꿨을 때 오히려 틀린 정보가 남기 때문에, 매 턴마다 요약·페르소나 카드·검색된 기억·감정 톤·실시간 상태를 다시 조합해야 한다. 이렇게 재구성된 문맥이야말로 빠르게 흔들리는 대화에서 정합성을 유지하는 방법이다.
9:31
캐릭터를 외계인으로 만든 이유 외계인은 현실의 기준점이 없어 사용자가 의미를 투사하기 쉬우며, 예측 불가능한 행동도 부자연스럽기보다 매력적으로 읽힌다. 동시에 톤 모니터링으로 감정에 맞게 말투만 바꾸고 정체성은 유지해, 수백 턴이 지나도 캐릭터가 흐트러지지 않게 한다.
10:23
에이전트로 앱을 만드는 방식 Claude가 iOS 앱 코드의 상당 부분을 공동 작성하며, 코드베이스 자체를 문서로 만드는 구조가 에이전트 활용의 핵심이 된다. 구현 에이전트, 리뷰 에이전트, PR 셰퍼드, triage bot이 MCP로 Linear, Sentry, DataDog와 연결되어 버그 수정과 PR 정리를 자동으로 반복하고, eval과 다중 판정으로 새 캐릭터까지 빠르게 완성한다.

실무 인사이트

음성 제품은 모델 성능보다 먼저 지연 예산과 턴 전환 품질을 설계해야 하며, 0.5초 수준의 변화도 제품 평판을 바꿀 수 있다.
긴 대화형 AI는 컨텍스트를 누적하는 방식보다, 요약·검색·재조립으로 매 턴 문맥을 다시 만드는 구조가 더 안정적이다.
내부 개발에서도 에이전트를 쓰려면 코드베이스를 문서처럼 정돈하고, 구현·검토·운영을 분리한 다중 에이전트 루프와 eval을 함께 둬야 한다.