The Future of Evals: From LLM as a Judge to Agent as a Judge — Aparna Dhinakaran, Arize AI

한 줄 핵심

기존의 LLM as a judge 평가만으로는 도구 호출·추론·장기 루프를 가진 에이전트의 실패를 충분히 잡을 수 없으며, 앞으로는 deterministic eval, LLM as a judge, agent as a judge를 함께 쓰는 체계가 필요하다는 주장이다.

시간별 요약

1. 0:01
   Evals는 이제 PM과 AI 엔지니어가 익혀야 할 보조 기술이 아니라, 진지한 AI 팀이 핵심적으로 투자하는 영역이 되었다. 실제 프로덕션 에이전트의 trace 위에서 평가를 돌려야 무엇이 잘 작동하고 어디서 실패하는지 파악할 수 있다.
2. 2:00
   평가 대상 자체가 2023년의 단순 프롬프트 응답에서, 2024년의 tool calls·reasoning·deep research, 그리고 현재의 장기 실행 멀티 스텝 루프로 바뀌면서 문제의 성격도 달라졌다. 복잡성이 커진 만큼 실패 형태도 달라져서, 과거의 평가 방식만으로는 새로운 오류를 놓치기 쉽다.
3. 3:03
   내부 에이전트 Alex 사례처럼 긴 memory, 동적 UI 생성, 대량 trace 검색이 가능해져도 context를 잊거나 완료 시점을 모르거나 루프에 갇히는 문제가 생긴다. 이런 비정형 trajectory는 고정된 rubric으로 점수를 매기는 classical LLM as a judge로는 충분히 포착되지 않는다.
4. 4:01
   agent as a judge는 고정 점수 대신 적응적이고 동적인 분석을 수행해 trace에서 반복 루프, 비효율적 경로, 미묘한 실패 패턴을 찾아낸다. 더 나아가 PR과 수정까지 연결할 수 있어, 앞으로의 evals는 deterministic eval, LLM as a judge, agent as a judge를 함께 쓰는 구조로 가야 한다.

실무 인사이트

• 에이전트 평가를 설계할 때는 최종 답변 점수보다 trace 기반 실패 패턴 탐지가 더 중요하므로, 로그·경로·반복 호출 지표를 먼저 수집해야 한다.
• 고정된 rubric으로 잡히지 않는 루프, 완료 판단 실패, 비효율적 tool 재호출 같은 문제를 잡기 위해서는 장기 실행 분석용 agent as a judge를 별도로 두는 편이 효과적이다.
• 운영 관점에서는 평가 결과를 단순 리포트로 끝내지 말고, PR 생성이나 수정 제안까지 이어지게 만들어 지속 학습 루프를 닫아야 한다.