Building Closed-Loop Evals for a Multimodal Agent at Scale — Soumya Gupta & Jai Chopra, Uber

한 줄 핵심

Uber Eats의 멀티모달 에이전트는 이미지 이해→라우팅→편집→QA→게시의 폐쇄 루프와 인간 라벨 기반 평가·자동 튜닝을 결합해, 신뢰성과 품질을 지키면서 대규모로 계속 학습하는 방식으로 설계되어 있다.

시간별 요약

1. 0:01
   Uber Eats는 수십억 규모의 마켓플레이스에서 음식 사진이 전환을 좌우한다는 문제를 다룬다. 핵심 과제는 진짜 같지만 AI처럼 보이지 않게, 그리고 셀러의 브랜드와 다양성을 해치지 않으면서 품질을 선택적으로 끌어올리는 것이다.
2. 5:01
   전체 흐름은 이미지 이해·라우팅 에이전트가 원본을 유지할지 보정할지 결정하고, 편집 에이전트가 수정한 뒤 QA와 최종 게시 게이트를 통과하는 구조다. 모든 단계의 로그를 남겨야 나중에 진단과 최적화가 가능하며, 라우터는 confusion matrix와 precision/recall로 평가한다.
3. 9:00
   초기 모델은 대표성 있는 데이터셋과 명확한 인간 라벨을 기준점으로 맞추고, 라우팅에서는 recall을 특히 중요하게 본다. 오탐은 불필요한 편집 비용과 품질 저하를 만들고, 미탐은 환각을 유발해 faithfulness를 해칠 수 있으므로 오프라인 기준과 운영 중 드리프트 대응이 모두 필요하다.
4. 14:00
   편집 단계는 이미지별 프롬프트 생성, 멀티차원 QA, 반복 개선의 K회 루프로 운영되며 pass at K로 성능을 본다. faithfulness, completeness, 자연스러움, 현실성 등을 pairwise comparison으로 판단하고, 과도한 보수화나 reward hacking 같은 실패 모드도 함께 잡아낸다.
5. 19:00
   단일 모델 튜닝을 넘어서, 다양한 피드백 루프를 상위 diagnoser가 통합해 어느 에이전트를 어떻게 고칠지 자동으로 결정한다. 내부 dogfooding, 자유형 피드백, 세그먼트별 성과까지 재학습에 반영하고, 최종적으로는 전환율 같은 비즈니스 지표로 생산 환경의 효과를 검증한다.

실무 인사이트

• 에이전트 품질 관리는 출력 성능만 보지 말고, 라우팅·편집·게시처럼 단계별로 별도의 guardrail과 실패 유형을 정의해야 운영에서 안정적이다.
• 오프라인 골든 데이터셋으로 한 번 맞춘 뒤 끝내지 말고, 생산 데이터 샘플링과 자동 튜닝 루프를 붙여 드리프트를 상시 보정해야 한다.
• 멀티모달 시스템은 화질 개선보다도 faithfulness와 completeness를 우선순위에 두어야 하며, 그렇지 않으면 보기 좋은 결과가 오히려 제품 신뢰를 깎는다.