AI Evals for Cross-Functional Teams — Nachiket Paranjape & Swaroop Chitlur Haridas, DoorDash

한 줄 핵심

DoorDash는 AI 품질 관리를 엔지니어링 보조 기능이 아니라 전사적 평가 체계로 재정의해, API·워크플로·자기서빙 UI를 통해 빠르게 반복하면서 주석 비용과 품질 검증 속도를 동시에 개선했다.

시간별 요약

1. 0:00
   GenAI 플랫폼 팀과 세 가지 힘 DoorDash의 GenAI 플랫폼 팀은 여러 제품팀이 공통 인프라 위에서 일하도록 돕는 수평 조직이며, 핵심 가치는 accuracy, latency, cost의 균형이다. 이를 위해 LLM gateway, agent gateway, open weights 모델 호스팅 같은 공통 구성요소를 제공했고, 이 체계 위에서 eval이 네 번째 축으로 부상했다.
2. 2:05
   eval이 네 번째 축이 된 이유 팀마다 필요한 품질 판단이 달라 단일 방식으로는 대응할 수 없었고, 세션 단위 평가, 인간 판단 확장, trajectory 기반 평가처럼 요구가 다양했다. 결국 평가 체계는 도메인 전문가인 전략·운영, PM, 라벨링 파트너까지 참여하는 협업 문제로 바뀌었다.
3. 3:05
   UI 우선, 그다음 API 우선, 그리고 워크플로 우선 처음에는 비개발자도 참여할 수 있도록 UI를 먼저 만들고, 이후 엔지니어가 중앙 플랫폼에 막히지 않도록 API를 우선시했다. 지금은 coding agents의 확산으로 S&O와 PM도 플랫폼에서 직접 작업을 수행하는 workflow first 단계로 진화했다.
4. 4:01
   엔지니어링 하네스가 아니라 팀 스포츠로서의 eval 평가는 단순한 엔지니어링 도구가 아니라 여러 팀이 함께 품질을 정의하고 개선하는 공동 작업이다. 전략·운영은 목표 품질 기준을 정하고, 제품팀은 rubric과 workflow로 번역하며, 운영팀은 annotation을 수행하고, 엔지니어링팀은 API·telemetry·dataset·judge를 제공한다.
5. 4:57
   품질의 각 부분을 누가 맡는가 품질 개선은 trace 수집에서 시작해 sampling, annotation, golden dataset 생성, calibrate, monitoring으로 이어지는 반복 루프로 정리된다. 이 구조에서 플랫폼은 telemetry와 workflow라는 두 표면을 제공하고, 각 팀은 자신의 역할에 맞춰 품질 향상에 기여한다.
6. 5:53
   trace, sample, annotate, calibrate의 연속 루프 플랫폼은 traces, scores, observations를 모으는 telemetry layer와 annotation 작업을 수행하는 workflow layer로 나뉜다. 공통 API와 SDK, MCP 접근을 통해 데이터를 수집하고, golden dataset과 judge calibration을 반복하면서 품질을 지속적으로 올린다.
7. 7:42
   telemetry와 워크플로라는 두 개의 표면 telemetry에서는 세션과 점수를 보고, workflow에서는 어떤 데이터를 어떻게 주석할지 정하고 검토한다. 사용 사례가 너무 다양해 중앙팀이 모든 UI를 만들기 어렵기 때문에, API 중심 설계로 각 팀이 자기 상황에 맞는 흐름을 구성하게 했다.
8. 9:32
   운영자가 자기 annotation UI를 vibe coding하기 API가 충분히 안정적이어서 운영팀이 CodeX나 Claude Code로 자체 annotation UI를 만들 수 있었다. 이미지 주석과 수동 테스트처럼 서로 달라도 패턴이 비슷한 작업을 빠르게 자기서빙 UI로 구현하면서 플랫폼 의존도를 줄였다.
9. 11:21
   judge prompt를 self-serve로 보정하기 LLM as a judge의 prompt calibration을 사람이 직접 엔지니어링팀에 요청하지 않고, PM이나 운영자가 UI에서 설정을 바꿔 직접 실행할 수 있게 했다. 또한 이전 prompt와 보정된 prompt를 함께 보여줘 결과를 검토 가능하게 만들고 신뢰를 높였다.
10. 13:10
    팀마다 다른 prompt 소유 구조 어떤 팀은 전략·운영이 prompt를 소유하고, 어떤 팀은 PM이나 엔지니어링이 소유하는 식으로 운영 방식이 달라졌다. 중요한 것은 누가 소유하든 self-serve로 설계해 팀이 막히지 않고 스스로 진화할 수 있게 만드는 점이다.
11. 14:04
    주석 비용에 미친 영향 self-serve annotation platform 덕분에 주석당 비용이 크게 줄고, 수천 행을 주마다 처리해야 하는 환경에서 작업 속도와 반복 주기가 모두 빨라졌다. 결과적으로 팀들은 더 빠르게 judge를 보정하고, 더 높은 속도로 품질 개선 루프를 돌릴 수 있게 됐다.

실무 인사이트

• 평가 체계를 엔지니어링 산출물로만 두지 말고, 전략·운영·제품·운영팀이 함께 쓰는 공용 프로세스로 설계해야 실제 품질 개선이 빨라진다.
• API를 먼저 안정화하면 각 팀이 자기 업무에 맞는 UI와 워크플로를 스스로 만들 수 있어, 중앙 플랫폼의 병목과 주석 비용을 동시에 줄일 수 있다.
• judge calibration은 한 번에 끝내는 작업이 아니라 golden dataset과 가시화된 비교 결과를 바탕으로 계속 반복해야 신뢰 가능한 평가 체계가 된다.