How Evals and Prompts Shape Agent Behavior — Preetika Bhateja & Daniel Bump, YouTube Ads

한 줄 핵심

에이전트의 프로덕션 품질은 좋은 도구·가드레일·평가 체계를 함께 설계할 때 올라가며, 초반에는 작게 시작해 패턴과 실패 원인을 읽고 점진적으로 확장하는 것이 가장 효과적이다.

시간별 요약

1. 0:01
   에이전트는 만들기도 어렵고 운영 중 신뢰성을 확보하기는 더 어려우므로, 실제 프로덕션에서 원하는 동작을 측정할 eval이 필수적이다. 특히 YouTube ads처럼 비결정적 출력이 문제되는 환경에서는 무엇이 좋은 결과인지 먼저 정의해야 한다.
2. 1:00
   평가보다 먼저 LLM 친화적인 도구 세트를 다듬고, 필요하면 독립적인 critique agent와 remediation loop로 부족한 부분을 보완해야 한다. 이 기반이 있어야 eval이 변경의 가치를 증명하고, 모델·도구·프롬프트를 안전하게 비교할 수 있다.
3. 4:01
   초기에는 스케일 가능한 완전한 체계보다 직관 기반의 작은 평가가 더 유용하며, 빠른 반복과 과감한 구조 변경을 가능하게 한다. 핵심 과제부터 시작해 실패 패턴을 파악하고, 긍정 사례뿐 아니라 ‘하지 말아야 할 것’도 함께 테스트해야 한다.
4. 7:00
   사람이 평가할 때는 명확한 rubric과 예시가 중요하고, pass/fail뿐 아니라 왜 그렇게 판단했는지 설명을 받아야 개선 지점을 찾을 수 있다. 멀티 출력·멀티턴 평가에서는 정확도, brand safety처럼 서로 다른 축을 분리해 해석해야 하며, 이 입력은 이후 학습과 기준 정교화에 활용된다.
5. 10:01
   LLM judge를 사용할 때는 인간과의 disagreement를 샘플링 파이프라인으로 추적하고, spot check로 판단 논리를 검증해야 한다. 또한 trace를 보면 단순 점수로는 놓치는 오류, 예를 들어 disclaimer를 제거하면 안 되는 상황에서도 잘못 제거하는 실패를 직접 확인할 수 있다.
6. 13:01
   런치 준비 단계에서는 regression의 원인과 허용 가능한 trade-off를 구분하고, 단일 실행이 아니라 반복되는 패턴을 기준으로 판단해야 한다. golden set, online eval, prod 데이터로 갱신되는 test set을 함께 운영해야 실제 세계와 맞는 품질 기준을 유지할 수 있다.

실무 인사이트

• 초기에는 큰 평가 체계보다 핵심 과제 3~5개를 정해 작게 시작하고, 실패 패턴이 반복되는지 먼저 확인하는 편이 개발 속도와 학습 효율이 높다.
• 평가 기준이 모호하면 사람·LLM 모두 흔들리므로, rubric과 예시를 먼저 고정하고 설명을 수집해 기준을 계속 업데이트해야 한다.
• 런치 판단은 단발성 성공 사례가 아니라 분포와 패턴을 보며 해야 하며, 온라인 데이터와 재생성된 test set으로 정기적으로 보정해야 한다.