[한영자막] 프롬프트의 함정, Eval로 잡았다

한 줄 핵심

에이전트의 품질과 신뢰성은 도구·가드레일·Eval의 조합으로 관리해야 하며, 초반에는 직관적으로 작게 시작해 패턴과 실패 원인을 잡은 뒤 점차 규모를 키우는 방식이 가장 효과적이다.

시간별 요약

1. 0:00
   에이전트는 비결정적이라 실제 배포 환경에서 원하는 동작을 보장하기 어렵기 때문에, 무엇이 좋은 결과인지 정의하고 측정하는 Eval이 핵심이다. 먼저 강한 도구 기반을 만들고, 그다음 self-correction과 Eval로 신뢰성을 끌어올리는 순서가 중요하다.
2. 3:00
   초기에는 대규모로 정교한 Eval을 만들기보다 직관에 기반해 작게 시작하는 편이 더 빠르게 학습하고 개선할 수 있다. 핵심 과제 몇 개만 고르고, 부정 사례도 함께 테스트하며, 너무 이른 시점에 큰 golden set이나 스케일드 grader로 점프하지 않는 것이 좋다.
3. 7:00
   사람이 평가할 때는 명확한 rubric과 구체적인 예시를 제공해야 합의가 높아지고, pass/fail만 보지 말고 왜 그렇게 판단했는지 설명을 받아야 개선 포인트가 드러난다. 멀티 출력이나 다중 기준 평가에서는 정확성, brand safety처럼 항목별로 어디서 실패하는지 설명이 특히 중요하다.
4. 10:01
   LLM rater를 쓸 때는 인간 평가와의 disagreement를 지속적으로 모니터링하고, 단순 결과값이 아니라 agent traces까지 확인해야 한다. disclaimer를 제거하면 안 되는 사례처럼, categorical pass rate만 보면 놓치는 오류가 있어 reasoning을 봐야 실제 실패 패턴을 잡을 수 있다.
5. 13:00
   런치 준비에서는 개별 실패 한 번보다 반복되는 패턴을 기준으로 개선해야 하며, regression이 어디서 왜 발생하는지 구분하는 것이 중요하다. Eval과 모델을 함께 반복 개선하고, online eval과 production data를 반영해 golden set을 계속 갱신해야 배포 기준을 안정적으로 세울 수 있다.
6. 16:02
   좋은 production-grade Eval 시스템은 제품이 정말 잘해야 하는 것에 맞춰 대표성을 가져야 하고, 사용 사례와 단계가 바뀌면 함께 진화해야 한다. 또한 팀 교육, 명확한 rater template, 적절한 launch metric과 gatekeeping rule을 미리 정해야 운영 중 혼선을 줄일 수 있다.

실무 인사이트

• 초기에는 '정교한 자동화'보다 '작은 수동 관찰 + 빠른 반복'이 더 큰 학습 효과를 만든다.
• 에이전트 품질 개선은 모델 수정만으로 끝나지 않고, rubric·golden set·온라인 데이터 갱신까지 포함한 운영 체계가 있어야 지속된다.
• 배포 의사결정은 단일 실패 사례가 아니라 반복되는 패턴과 regression 기준으로 판단해야 한다.