[한영자막] 우버가 멀티모달 AI 에이전트를 대규모 실전에 배포하며 깨달은 핵심 평가 전략

한 줄 핵심

Uber Eats의 음식 사진 보정 시스템은 멀티모달 에이전트와 다층 평가 루프를 결합해, 진정성과 품질을 동시에 지키면서 대규모 실전 배포와 지속적 개선을 가능하게 만든 사례다.

시간별 요약

1. 0:00
   개요 및 Uber Eats 음식 사진 보정의 핵심 과제 Uber Eats는 방대한 마켓플레이스에서 음식 사진이 클릭과 주문 전환을 좌우하기 때문에, 원본의 진정성을 해치지 않으면서도 품질이 낮은 이미지만 선별적으로 개선해야 한다. 동시에 AI 생성 티가 나는 결과는 신뢰를 떨어뜨리므로, 동일한 프롬프트로 획일화되지 않게 다양성과 브랜드 개성을 유지하는 것이 핵심이다.
2. 3:06
   에이전트 시스템 설계 원칙과 균형점 설계 목표는 진정성 보존, 선택적 품질 개선, 전역 최적화, 안전한 배포, 지속 학습, 그리고 비용 효율성이다. 규칙 기반의 경직성과 무제한적 창의성 사이에서 균형을 잡아야 하며, 이 균형점이 에이전트와 평가 체계를 함께 설계하는 출발점이 된다.
3. 4:45
   멀티모달 이미지 이해 및 라우팅 에이전트 이미지를 설명하는 멀티모달 이해 단계와 구조화된 출력을 기반으로, 개선이 필요한지 원본을 유지할지 결정하는 라우터가 먼저 작동한다. 이후 편집 에이전트가 QA 피드백을 받아 루프를 돌며 수정하고, 끝까지 실패하면 게시하지 않으며, 모든 과정은 로그로 남겨 분석과 집계를 가능하게 한다.
4. 8:12
   정답 데이터셋 정렬과 실제 실패 사례 분석 초기 모델 정렬은 사람 라벨을 정답으로 삼고, 다양한 지역·음식·화질을 포함한 대표 데이터셋으로 수행한다. 고품질 이미지를 불필요하게 보정해 비용과 품질을 동시에 해치는 오탐과, 저품질 이미지를 통과시켜 환각을 유발하는 미탐이 모두 문제이며, 실제 운영에서는 정적 모델보다 계속 진화하는 시스템이 필요하다.
5. 10:25
   자가 진단 및 프롬프트 자동 튜닝 (Reflect & Synthesize) 운영 중 샘플을 주기적으로 라벨링해 출력 불일치를 찾고, 진단 에이전트가 문제 위치를 특정해 자동 튜닝 파이프라인을 트리거한다. Reflect는 불일치에서 잡음을 제거하고 구조적 문제를 요약하며, Synthesize는 그 피드백으로 설정을 갱신해 새 버전을 등록하고, 사람이 끼지 않는 폐루프 최적화를 만든다.
6. 12:48
   다단계 이미지 보정 및 Pass@K 평가 루프 이미지별 맞춤 프롬프트 생성, 보정, 다차원 QA 게이트 검증을 반복하는 3단계 흐름으로 품질을 끌어올린다. 핵심 지표는 Pass@K로, 반복 횟수가 늘수록 통과율이 높아져야 하며, 실제로는 첫 시도에서 실패한 이미지를 피드백을 반영해 다음 반복에서 통과시키는 방식으로 개선한다.
7. 14:13
   쌍체 비교 평가와 리워드 해킹 방지 입력과 출력을 쌍으로 비교해 더 나은 결과인지 판단하되, 단순 픽셀 차이가 아니라 faithfulness, completeness, naturalness, realism 같은 플랫폼 정의를 평가 기준에 포함한다. 잘못된 보상 신호로 인해 과도하게 보수적이거나 창의적으로 치우치는 리워드 해킹을 막아야 하며, 물리적 타당성이나 객체 일관성 같은 문제는 frontier 모델 팀과도 함께 조정한다.
8. 17:03
   스위스 치즈 모델 기반 최종 QA 게이트 게시 직전에는 정책과 품질을 다시 점검하는 최종 QA 게이트를 두어, 앞단에서 놓친 실패가 생산에 들어갈 확률을 더 낮춘다. 중복 검사는 비효율이 아니라 안전성을 높이는 스위스 치즈 모델로 이해하며, 여러 겹의 방어선이 함께 작동해야 실전 배포가 안정적이다.
9. 18:21
   사내 도그푸딩 및 다중 피드백 통합 (Diagnoser) 사내 도그푸딩, 앱의 좋아요·싫어요, 자유 서술 피드백, merchant와 내부 팀의 의견을 모두 하나의 diagnoser가 받아 적절한 에이전트로 라우팅한다. 단일 루프가 아니라 여러 피드백 루프를 통합해 재평가와 재배포를 반복함으로써, 시스템 전체를 점진적으로 조정한다.
10. 20:00
    비즈니스 지표 검증 및 세그먼트별 맞춤 최적화 최종 성공 기준은 주문 전환, 장바구니 추가, 주문 완료 같은 비즈니스 지표의 개선이며, 이를 지오·디바이스·음식 종류별로 세분화해 본다. 전체 평균이 아니라 세그먼트별 효과를 보고 특정 구간만 맞춤 최적화하는 것이 대규모 운영에서 더 실질적인 성과를 만든다.

실무 인사이트

• 실전 에이전트는 생성 품질보다 먼저 라우팅·QA·롤백까지 포함한 평가 체계를 설계해야 하며, 로그를 처음부터 남겨야 개선이 가능하다.
• 정답 데이터셋과 운영 데이터의 분포 차이를 전제로, 사람이 라벨링한 기준에 맞춰 주기적으로 재평가하고 자동 튜닝하는 폐루프가 필요하다.
• 출력의 미세한 시각적 차이보다 진정성·완전성·자연스러움 같은 제품 정의를 평가 기준에 넣어야 리워드 해킹과 과도한 보정을 막을 수 있다.