Don't Trust Your AI Agents. Test Them Like a Scientist — Stephanie Jarmak, Omni Analytics

한 줄 핵심

에이전트는 공개 점수만 믿지 말고, 실제 작업 환경과 같은 하네스·지표·프로덕션 데이터로 과학적으로 평가해야 한다.

시간별 요약

1. 0:00
   소개 에이전트 평가는 결과를 맹신하기보다 무엇을 믿지 말아야 하는지부터 점검하는 태도가 중요하며, 연구자처럼 모든 가정을 의심하는 관점이 필요하다.
2. 1:11
   에이전트가 도구를 무시할 때 프롬프트를 바꿨더니 비용은 28% 줄었지만 정작 필요한 도구는 사용하지 않았기 때문에, 숫자 변화보다 의도한 동작이 실제로 발생했는지가 더 중요하다.
3. 2:47
   하네스가 결과를 바꾼다 같은 모델이라도 하네스만 바꿔도 성능이 30% 이상 달라질 수 있으므로, 실제 운영 환경과 가장 가까운 구성을 기준으로 평가해야 한다.
4. 3:51
   공개 벤치마크와 자체 평가 공개 벤치마크는 시장을 넓게 훑는 참고용이고, 실제 의사결정은 조직의 작업 환경을 반영한 자체 평가에서 내려야 한다.
5. 5:34
   과학자처럼 평가 설계하기 작업군을 대표하는 과제를 고르고, 반복 실행으로 비결정성을 확인하며, 모델과 하네스의 상호작용까지 함께 살펴야 결과를 제대로 해석할 수 있다.
6. 7:05
   전체 파이프라인 추적하기 도구가 사용 가능한지, 호출됐는지, 어떤 값이 반환됐는지, 최종 성과가 바뀌었는지를 단계별로 추적해야 문제의 원인을 정확히 찾을 수 있다.
7. 8:50
   무엇을 측정할지 정하기 한 숫자 점수에 집착하기보다 정밀도와 재현율 중 무엇이 중요한지 먼저 정해야 하며, 평가지표는 비즈니스 목적에 맞게 설계되어야 한다.
8. 9:48
   실제로 작업을 멈추는 품질 게이트 이상 징후를 감지하는 것과 실제로 작업을 중단시키는 것은 다르므로, 코드 수준에서 게이트를 강제하고 필요할 때만 사람에게 넘기는 구조가 필요하다.
9. 11:20
   사람 검토의 병목 오경보율이 낮아 보여도 규모가 커지면 사람 검토가 폭증할 수 있으므로, 경보율과 도메인 전문가의 처리 가능 용량을 함께 설계해야 한다.
10. 12:20
    에이전트 기록을 신뢰할 수 없을 때 에이전트의 자체 기록이나 해시 검사는 놓치는 것이 있을 수 있으므로, 독립적인 기록 비교와 외부 관측으로 변조나 침투를 검증해야 한다.
11. 13:21
    프로덕션이 진실이다 내부 평가와 대리 지표는 유용하지만, 배포 후 실제 사용 환경에서 수집한 프로덕션 데이터가 최종적으로 시스템의 진짜 성능을 말해준다.
12. 15:05
    언제 사람에게 넘길지 자율 실행과 인간 개입의 경계는 위험 수준에 따라 정해야 하며, 낮은 위험만 자동화하고 나머지는 명확한 조건에서 사람에게 에스컬레이션해야 한다.

실무 인사이트

• 평가 체계는 모델 자체보다 하네스와 운영 조건의 영향을 크게 받으므로, 벤치마크 재현보다 실제 환경 재현을 우선해야 한다.
• 단일 점수보다 실패 지점별 추적과 품질 게이트 설계가 중요하며, 특히 사람 검토 비용까지 포함해 운영 가능성을 계산해야 한다.
• 배포 전 평가는 가설 검증이고, 배포 후 프로덕션 데이터는 진실이므로 두 단계를 연결하는 관측 체계를 함께 구축해야 한다.