Evals for High-Stakes AI Agents — Doneyli De Jesus & Annabell Schäfer, Langfuse

한 줄 핵심

고위험 AI 에이전트를 생산에 안전하게 배포하려면, 트레이싱·데이터셋·휴먼 리뷰·평가자·CI 게이트를 하나의 반복 루프로 묶어 정량적으로 검증해야 한다.

시간별 요약

1. 0:00
   평가가 어려운 이유 AI 에이전트는 시스템 지표가 정상이어도 실제로는 잘못된 행동을 할 수 있어, 전통적 관측만으로는 실패를 놓치기 쉽다. 그래서 생산 환경의 신뢰성을 확보하려면, 결과가 드러나기 전부터 문제 신호를 지속적으로 찾아내는 접근이 필요하다.
2. 5:01
   AI 엔지니어링 루프 트레이싱으로 에이전트의 행동을 세밀하게 기록하고, 모니터링으로 대규모 신호를 집계한 뒤, 대표 데이터셋을 만들고 실험과 평가로 검증하는 순환 구조가 핵심이다. 이 루프는 한 번 끝내는 작업이 아니라 생산 데이터에서 배운 것을 다시 데이터셋과 실험에 반영하며 계속 개선하는 방식이다.
3. 12:47
   트레이싱과 PII 마스킹이 있는 은행 어시스턴트 데모 은행 상담 에이전트를 예로 들어, 입력·툴 호출·모델 응답·점수까지 한 흐름으로 추적하고 PII를 자동 마스킹해 민감정보가 평문으로 남지 않게 하는 구성을 보여준다. 또한 투자 조언 같은 고위험 요청을 별도 점수로 표시해, 규제 환경에서 필요한 가드레일과 품질 기준을 함께 확인한다.
4. 20:35
   데이터셋 만들기 데이터셋은 질문과 기대 결과의 집합이며, 에이전트가 실제로 처리해야 할 사례와 거절해야 할 사례까지 포함하는 테스트 케이스로 기능한다. 운영 로그나 도메인 전문가의 스프레드시트를 활용해 구축할 수 있고, 생산 트레이스에서 좋은 사례를 선별해 재사용하면 더 현실적인 기준을 만들 수 있다.
5. 25:18
   전문가 검토와 실패 모드 사람이 모든 트레이스를 다 보는 대신, 대표 샘플을 큐로 만들어 도메인 전문가가 짧은 시간 안에 점수와 코멘트를 남기게 하면 효율적으로 품질 신호를 모을 수 있다. 그 다음 LLM으로 코멘트를 묶어 반복되는 실패 모드를 추출하면, 평가 기준을 감이 아니라 실제 패턴에 기반해 정의할 수 있다.
6. 30:07
   평가자 선택하기 평가 방식은 LLM-as-a-judge와 결정적 코드 평가를 적절히 섞는 것이 가장 안정적이다. 전자는 의미적 품질을 넓게 잡아내고, 후자는 정확 일치나 정규식 같은 반복 가능한 규칙을 엄격하게 검사해 두 방식의 약점을 서로 보완한다.
7. 35:00
   프롬프트 변경마다 자동으로 평가 실행하기 프롬프트 버전 변경을 트리거로 CI 작업을 자동 실행해, 새 설정이 데이터셋 기준을 통과하는지 게이트처럼 판정할 수 있다. 이렇게 하면 수동 감으로 배포하지 않고도, 각 변경이 품질을 올렸는지 혹은 가드레일을 깨뜨렸는지 증거를 남기며 판단할 수 있다.
8. 39:44
   이해관계자를 위한 대시보드 실무 지표를 경영진이 이해할 수 있는 형태로 바꾸면, 자동 응답으로 절감된 비용, 빈번한 실패 모드, thumbs up/down, 보안 리스크 같은 결과를 한눈에 보여줄 수 있다. 특히 어떤 실패 유형이 증가하는지와 어디에 집중적으로 파고들어야 하는지를 시각화하면, 운영과 의사결정이 훨씬 빨라진다.
9. 45:58
   코딩 에이전트와 함께 일하기 무작정 “고쳐줘”라고 맡기는 방식은 품질도 낮고 통제도 약해지기 쉬우며, 반대로 모든 작업을 수동으로 처리하는 것도 비효율적이다. 적절한 방식은 사람이 기준과 도메인 지식을 넣고, 코딩 에이전트가 계측·실험·평가 자동화 같은 반복 작업을 맡아 루프를 가속하는 것이다.
10. 52:13
    질의응답 질의응답에서는 LLM-as-a-judge의 일관성을 어떻게 확보하는지와, 인간 라벨과 비교해 점진적으로 보정하는 방법이 다뤄진다. 또한 Langfuse의 저장소 의존성, 자체 호스팅 가능 여부, 데이터 내보내기 방식 같은 배포·운영 관련 질문도 답변한다.

실무 인사이트

• 고위험 AI 에이전트는 배포 전에 한 번 평가하는 것으로 끝나지 않고, 생산 변경마다 자동 평가가 도는 구조로 만들어야 실제 리스크를 줄일 수 있다.
• 휴먼 리뷰는 대량 검수용이 아니라 실패 모드 정의와 기준선 구축용으로 쓰고, 반복 패턴의 추출과 스케일링은 LLM과 자동화에 맡기는 것이 효율적이다.
• 은행·의료 같은 규제 산업에서는 정확도보다도 금지 행동 탐지, PII 마스킹, 가드레일 위반 추적이 평가 설계의 중심이 되어야 한다.