Voice agents with Realtime Video — Sidney Primas, LemonSlice

한 줄 핵심

Lemon Slice는 인간과 구분하기 어려운 실시간 아바타를 만들기 위해 비디오 모델을 인간 대화에 맞게 재구성하고, 감정·상호작용·지연·비용 문제를 함께 해결하는 전략을 공개한다.

시간별 요약

1. 0:00
   아바타 튜링 테스트를 깨기 사진처럼 보이는 아바타를 넘어 영상 통화에서 사람과 구분되지 않는 수준을 목표로 하며, 감정·미세표정·물체 상호작용·내부 상태까지 포함한 긴 기술 과제가 핵심이다. Microsoft와 함께 Teddy Roosevelt를 실제처럼 구현한 사례를 통해 문제의 규모와 방향성을 보여준다.
2. 2:26
   복제된 오벌 오피스 속 Teddy Roosevelt 복제된 Oval Office에서 Teddy Roosevelt와 실시간으로 대화하는 경험이 실제로 구현되었고, Trump의 방문처럼 현장 반응을 끌어낼 정도로 몰입도가 높았다. 풀바디 아바타가 손동작과 움직임까지 실시간으로 처리하며, 이 경험이 텍스트나 음성만으로는 얻기 어려운 집중도를 만든다.
3. 4:40
   왜 시각 계층이 중요한가 사람은 읽기나 음성만으로는 오래 집중하기 어렵고, 시각 정보가 함께 있을 때 이해와 몰입이 훨씬 좋아진다. 그래서 장기적으로 AI와 인간의 상호작용 대부분은 시각 계층을 포함하게 될 것이며, 그 계층을 만드는 것이 핵심 사업 방향이다.
4. 5:46
   세계 모델을 인간에게 맞추기 대부분의 아바타 업체와 달리, 세계 모델을 인간 상호작용에 초점을 맞춰 사용하면 처음에는 어렵지만 완성 후에는 풀바디 움직임, 물체 상호작용, 미세표정, 감정이 자연스럽게 나온다. 즉, 초기 학습과 배포는 더 힘들어도 결과적으로 더 많은 기능이 덜 억지스럽게 연결된다.
5. 6:58
   한 장의 이미지로 모든 스타일을 내고 API가 되기 단일 이미지 하나만으로 포토리얼, Pixar, 만화 스타일의 아바타를 만들 수 있고, 같은 추론 설정 안에서 옷과 배경도 바꿀 수 있다. 이 제품은 자체 LLM이 아니라 시각 레이어를 제공하는 API로 동작하며, 언어 학습과 AI 세일즈 콜 같은 음성 에이전트 활용처를 영상 에이전트로 확장한다.
6. 9:12
   표현력을 만드는 것은 오디오다 감정과 얼굴 표정을 제대로 만들기 위해서는 비디오보다 오디오 데이터와 오디오 인코더가 더 중요하다. 오디오북처럼 단조로운 데이터로는 표현력이 부족하므로, 감정이 풍부한 오디오 임베딩을 따로 잘 설계해야 한다.
7. 10:15
   비디오 모델을 상호작용형으로 만들고 실시간으로 바꾸기 비디오 모델은 미래를 함께 보는 양방향 구조이기 때문에, 실시간 상호작용을 위해서는 과거만 보도록 attention mask를 씌워야 한다. 또 보통 30 step 정도의 denoising을 1 step으로 줄여야 실시간성이 확보되며, 이 과정에서 회귀가 누적되는 문제가 가장 큰 난제다.
8. 12:22
   시간이 길어질수록 누적되는 오류 과거를 볼 때마다 이미 생성된 비디오의 오류를 다시 참고하게 되어 오류가 점점 커진다. 특히 Teddy 아바타처럼 8시간, 16시간 연속 생성해야 하는 경우에는 누적 오차를 거의 없애는 방법이 필수이며, 이를 위한 별도 해결책이 적용되어 있다.
9. 14:34
   음성 모델과 비슷한 수준의 비용 영상은 음성보다 훨씬 픽셀 데이터가 많지만, 모델을 충분히 작고 효율적으로 만들어 비용을 음성 모델과 비슷한 수준까지 낮췄다. 이 덕분에 몇 초짜리 샘플이 아니라 분·시간 단위의 실시간 비디오 생성도 소비자용 서비스로 제공할 수 있다.
10. 15:36
    아무도 말하지 않는 모델 하네스 실서비스에서는 GPU와 CPU, 큐, 인터럽트, 버퍼링을 정교하게 오케스트레이션해 비디오가 끊기지 않게 만드는 하네스가 큰 비중을 차지한다. 실시간 애플리케이션일수록 모델 자체만큼이나 실행 인프라와 제어 로직이 제품 가치의 핵심이 된다.
11. 16:38
    다음 모델을 위한 감정 엔진 다음 단계는 대화 맥락을 이해하고 적절한 감정과 행동을 적절한 시간 동안 내보내는 감정 엔진이다. 현재의 아바타가 어색한 이유는 감정적으로 반응하지 못하고 대화를 듣고 있는 느낌이 약하기 때문이며, 목표는 오디오와 텍스트를 바탕으로 행동을 예측해 더 자연스러운 상호작용을 만드는 것이다.
12. 19:55
    하나의 종단간 EQ 레이어 장기적으로는 사용자 영상·오디오를 직접 받아 아바타 영상·오디오를 직접 출력하는 단일 종단간 EQ 모델이 등장할 가능성이 높다. 이 모델은 감정과 내부 상태를 담당하고, 별도의 IQ 모델이 도구 호출과 추론을 담당하는 구조로 진화할 것으로 본다.
13. 22:09
    내부 상태와 진짜 튜링 테스트에 대한 질문 감정과 목표는 사람이 읽을 수 있는 단어보다 잠재공간의 내부 상태로 더 잘 표현될 가능성이 크며, 시간에 따라 그 상태를 추적하는 방향이 유력하다. 아바타용 자체 튜링 테스트를 올해 만들 계획이며, 비용은 이미 음성 모델 수준까지 내려와 향후 해상도 개선과 더 강한 실전 검증이 가능해질 전망이다.

실무 인사이트

• 실시간 아바타의 경쟁력은 모델 성능만이 아니라 장시간 생성에서 오류가 누적되지 않도록 하는 하네스와 운영 안정성에 크게 좌우된다.
• 감정 표현을 강화하려면 비디오보다 오디오 데이터 품질과 오디오 인코더 설계에 먼저 투자하는 것이 효과적이다.
• 음성 에이전트를 영상으로 확장하려면 LLM을 직접 대체하기보다 시각 레이어를 API로 분리해 기존 스택과 결합하는 전략이 유리하다.