Multimodal Collaborative Agents for Next-Gen Commerce — Nidhi Kaushik Vyas, Google DeepMind

한 줄 핵심

쇼핑 같은 모호한 의도를 다루는 멀티모달 협업 에이전트는 검색창 래퍼가 아니라, 컨텍스트를 구축하고 질문을 선택하며 응답 형식까지 최적화해 사용자를 목표까지 안내해야 한다.

시간별 요약

1. 0:00
   검색창 래퍼가 아닌 에이전트 쇼핑 맥락에서 멀티모달 협업 에이전트가 왜 필요한지 제시하며, 모호한 의도와 불완전한 키워드만으로도 사용자의 목표 달성을 돕는 방향을 다룬다. 이 접근은 커머스에 초점을 두지만 금융, 교육 등 다른 소비자 영역에도 적용 가능하다.
2. 1:08
   말로 다 못하는 의도 격차 대부분의 사용자는 명확한 검색어보다 대략적인 느낌이나 취향만 갖고 들어오므로, 시스템은 전제된 명확한 의도에 기대면 안 된다. 따라서 사용자의 선호를 적극적으로 끌어내고 여러 가능성을 보여 주며, 제약에 맞는 추천으로 수렴시켜야 한다.
3. 2:03
   발견·조사·응답의 순환 쇼핑 루프는 발견, 조사, 응답의 세 단계로 구성되며, 먼저 과거 대화·쿼리·개인 맥락·참조 자료를 바탕으로 무엇을 더 물어볼지 전략을 세운다. 이후에는 텍스트 질문만이 아니라 시각 자료도 활용해 선호를 끌어내고, 마지막에는 표·목록·비주얼 보드처럼 상황에 맞는 형식으로 답을 제시한다.
4. 4:45
   이미지와 맥락으로 작업 상태 만들기 거실 리모델링처럼 복합적인 상황에서 에이전트는 세션 기록, 사용자 맥락, 하드 제약을 모아 작업 상태를 만든다. 여기에 참조 이미지에서 드러나는 스타일 같은 소프트 제약과 신호를 추출해, 사용자가 실제로 원하는 바에 대한 내부 모델을 형성한다.
5. 6:33
   실시간으로 갱신돼야 하는 변수 재고처럼 오래되면 무의미해지는 변수는 실시간으로 갱신되어야 하며, 그렇지 않으면 사용자에게 돌아가는 결과의 가치가 떨어진다. 상태 평가는 사실 보존, 신뢰도 보정, 그리고 입력을 바꿨을 때 제약 추출 결과도 함께 달라지는지 보는 반사실적 민감도로 이루어진다.
6. 7:28
   사실, 보정, 반사실로 상태 평가하기 작업 상태는 단순 저장이 아니라, 문맥 속 사실을 빠짐없이 담고 있으며 신뢰도도 적절히 보정되어 있는지 확인해야 한다. 또한 쿼리를 일부 뒤집었을 때 관련 제약만 바뀌고 무관한 정보는 유지되는지를 통해 상태 추출의 안정성을 측정한다.
7. 8:21
   의도 격차를 좁히는 최우선 질문 선택 에이전트는 아직 모르는 변수들을 한꺼번에 다 묻지 않고, 정보 이득이 가장 큰 질문 하나를 우선 선택해야 한다. 예를 들어 방 폭처럼 제품 적합성을 크게 좌우하는 제약은 대화 방향을 실질적으로 바꾸므로, 질문 유틸리티와 과도한 질문 반복을 함께 평가해야 한다.
8. 10:10
   제약을 제품 온톨로지에 연결하기 사용자가 말한 제약을 제품 카탈로그와 지식베이스의 온톨로지에 임시로 매핑해야, 이후 검색과 추천이 일관되게 작동한다. 이렇게 연결된 제약을 바탕으로 에이전트는 어떤 형태로 답을 받아야 하는지도 동시에 판단한다.
9. 11:04
   텍스트 질문보다 시각 보드가 나을 때 스타일처럼 주관적인 제약은 텍스트 질문보다 시각적 선호 보드가 더 잘 작동할 수 있다. 사용자의 미세 반응인 hover나 click을 관찰해 신뢰도를 갱신하고, 숨은 선호를 얼마나 효율적으로 찾아내는지와 턴 효율성을 함께 본다.
10. 12:57
    응답 형식 선택과 평가 정적인 정보나 정책은 요약·불릿이 적합하고, 두 상품의 비교는 트레이드오프 표가 적합하며, 영감이 필요한 경우는 시각 참조와 제품 사진이 더 유용하다. 응답 형식의 정확도, 데이터 충실도, 그리고 사용자가 다음 행동인 구매로 이어질 수 있는 실행 가능성이 핵심 평가 기준이다.
11. 16:38
    네 가지 핵심 교훈 사용자는 늘 명확한 의도로 오지 않으므로 시스템은 모호한 입력을 받아들일 수 있어야 한다. 또한 텍스트 질문에만 의존하지 말고, 응답 형식 자체를 지능의 일부로 다루며, 각 단계마다 자동 평가기를 둬서 루프 전체를 꾸준히 점검해야 한다.
12. 17:34
    merchant 온톨로지, UCP, agent 구매자에 대한 질문 merchant 측 온톨로지는 도메인 전문성을 반영해 제약과 메타데이터를 잘 매핑해야 하며, UCP는 merchant와 에이전트가 공통 언어를 쓰게 돕는다. 현재는 응답 형식과 의사결정을 에이전트가 담당하는 수평적 공통 계층을 지향하고, 사용자 연구에서는 사용자가 탐색·비교 단계에서 여전히 강하게 관여하기를 원하며 agent 간 상호작용은 MCP 같은 인터페이스로 이어질 가능성이 언급된다.

실무 인사이트

• 모호한 쇼핑 의도에서는 먼저 정확한 답을 찾기보다, 사용자가 말하지 못한 제약을 잘 끌어내는 질문 설계가 성패를 좌우한다.
• 추천 품질은 검색 결과 자체보다도, 제약을 제품 온톨로지에 잘 연결하고 그에 맞는 응답 형식을 고르는 데서 크게 달라진다.
• 실무에서는 사실 정확도뿐 아니라 질문 반복, 턴 수, 응답 형식 적합성까지 자동 평가해야 에이전트 루프가 실제로 개선된다.