Why Your Agent Disagrees With Itself (And What To Do About It) - Diane Lin, Datadog

한 줄 핵심

AI 에이전트의 일관성 문제는 대개 모델의 결함보다 경계가 모호한 데이터와 부족한 맥락에서 생기며, active learning과 semantic/episodic memory로 더 적은 라벨링 비용으로 신뢰성을 높일 수 있다.

시간별 요약

1. 0:02
   발표는 AI agent가 같은 입력에도 서로 다른 판단을 내리는 문제를 다루며, 특히 보안 알림 triage 같은 실제 업무에서 이 불일치가 신뢰 문제로 이어진다고 설명한다. 핵심 원인은 모델이 아니라 애초에 애매한 경계 사례에 있다.
2. 6:02
   불일치는 대부분 decision boundary 근처의 gray zone에서 발생하며, 이 구간은 사람 전문가도 의견이 갈릴 만큼 본질적으로 모호하다. 따라서 flip-flop은 AI의 이상행동이 아니라 애매함을 드러내는 신호로 봐야 한다.
3. 11:02
   이 gray zone을 찾는 방법으로 active learning이 제시되며, 높은 불확실성이나 여러 모델·여러 실행 간 disagreement를 기준으로 문제 데이터를 골라낸다. 전통적 ML의 탐지·라벨 재검토·재학습 루프가 AI agent에도 그대로 유효하다.
4. 14:03
   다만 LLM의 uncertainty score는 신뢰도가 낮기 때문에, 실제로는 불확실성보다 disagreement를 선택 신호로 쓰는 편이 더 낫다. 또한 매번 fine-tuning을 돌리는 대신 semantic memory와 episodic memory를 보강해 더 가볍고 빠르게 개선하는 전략이 제안된다.
5. 20:00
   semantic memory는 회사 정책이나 판정 기준 같은 명시적 지식을 넣어 decision boundary를 선명하게 만들고, episodic memory는 과거의 유사 사례와 결정을 재사용해 반복되는 케이스를 자동 처리한다. 두 메모리는 서로 대체재가 아니라 보완재이며, 남는 애매한 사례만 인간이 검토해 품질과 적응성을 동시에 높인다.
6. 22:01
   실험에서는 93개의 보안 알림을 세 번 실행했을 때 약 25%가 flip-flop했지만, episodic memory만으로도 약 15%를 일관되게 만들었고 나머지 10%는 인간 검토로 정리했다. 결론적으로 적은 라벨링으로도 일관성, 효율, 고객 맞춤성을 함께 개선할 수 있다.

실무 인사이트

• AI agent의 출력 불일치를 볼 때는 먼저 모델 자체보다 라벨 기준, 정책, 필요한 추가 맥락이 부족한지 점검하는 것이 우선이다.
• 품질 개선은 전체 재학습보다 disagreement 기반 샘플 선별 → 인간 확인 → 메모리/지식 보강의 경량 루프로 운영하는 편이 비용 대비 효율이 높다.
• 보안, 고객지원, 분류 업무처럼 반복 패턴이 많은 영역은 episodic memory로 자동화하고, 예외 케이스만 semantic memory로 승격시키는 설계가 유효하다.