Containment Is Lying to You: Measuring AI Agents Like Employees — Druid AI

한 줄 핵심

AI 에이전트의 성과는 단순한 containment 수치가 아니라 업무 성과, 거버넌스, 권한, 실행 결과를 함께 평가해야 진짜 효과를 판단할 수 있다.

시간별 요약

1. 0:00
   도입 Druid AI는 고객들이 AI 에이전트의 효과를 어떤 숫자로 판단해야 하는지 묻는 문제를 해결하기 위해 자체 평가 프레임워크를 만들었고, 이를 인턴 평가에 비유해 설명한다.
2. 1:36
   대시보드 하나, 인턴 둘 표면적으로는 containment가 높은 인턴 B가 더 좋아 보이지만, 인턴 A는 고객의 실제 사업 기회를 알아채고 상위 담당자에게 넘겨 더 큰 가치를 만들 수 있는 구조였다. 단순히 혼자 처리한 비율만 보면 중요한 맥락을 놓친다.
3. 3:09
   containment 함정 containment는 대화 중 인간 개입 없이 처리한 비율로 측정이 쉽고 대시보드에 자주 보이지만, 그것만으로 에이전트의 성공을 판단할 수 없다. 그래서 더 넓은 참조 모델과 점수표가 필요하다.
4. 3:33
   일곱 기둥 프레임워크 프레임워크는 사전 설정 영역, 런타임 영역, 거버넌스 영역으로 나뉘며 총 26개 구성요소를 관찰·분석한다. 이 구조를 통해 감이 아니라 사실과 규칙으로 에이전트의 준비도를 판단할 수 있다.
5. 5:42
   점수화: 0, 1, 2 각 항목은 없으면 0점, 측정 가능하면 1점, 시간에 따라 추적·분석되면 2점으로 평가한다. 동적 환경에서는 단순 존재 여부보다 지속적으로 관리되는지가 더 중요하다.
6. 7:12
   비즈니스 영향에 따른 가중치 각 점수는 동일하게 합산되지 않고, 비즈니스 효과가 큰 항목에 더 높은 가중치를 준다. 그 결과 기술적 요소보다 거버넌스가 더 큰 비중을 차지하며, green containment가 최종 승자를 의미하지 않을 수 있다.
7. 8:56
   거버넌스: 허용 오차와 리스크 에이전트를 설계할 때는 허용 오차, 리스크, 규정 준수, 관측 가능성, 정확도, hallucination, tone과 sentiment를 먼저 정의해야 한다. 특히 자율형 에이전트와 human-in-the-loop 협업형 에이전트는 요구되는 기준이 다르다.
8. 11:30
   에이전트의 권한 범위 system prompt만으로는 충분하지 않으며, 에이전트가 무엇을 해야 하고 무엇을 하면 안 되는지, 어떤 시스템에 접근할 수 있는지, 누가 상호작용할 수 있는지, 예산 상한은 얼마인지가 함께 정해져야 한다. 이 다섯 요소가 에이전트의 실제 권한 범위를 만든다.
9. 13:25
   플랫폼 여러 에이전트가 동일한 기준으로 동작하려면 memory, handoff, orchestration, skills, tools가 플랫폼 차원에서 일관되게 관리되어야 한다. 런타임에서는 입력과 작업, 성공 기준을 기록하고 설명 가능하게 남겨야 이후 평가가 가능하다.
10. 16:07
    결과 검증 마지막에는 에이전트가 실제로 성공했는지 단일 점수로 결과를 검증한다. 실행 과정만이 아니라 산출물의 성과까지 확인해야 전체 평가가 완성된다.
11. 16:26
    최종 점수 containment는 낮아 보였던 Agent A가 거버넌스, 권한 범위, 결과 검증을 포함한 종합 점수에서는 83%로 Agent B를 앞섰다. 기술 기능이 더 많아도 설명 가능성과 규정 준수가 약하면 최종 승자가 되지 못한다.
12. 17:25
    요약 이 프레임워크는 고객이 에이전트의 효과를 정량적으로 설명하고 이해관계자와 더 나은 논의를 하게 만드는 도구다. 사람과 달리 에이전트는 한 번 뽑고 끝나는 대상이 아니라 주기적으로 재평가해야 한다.
13. 18:20
    초록 대시보드, 떨어지는 점수 겉으로는 대시보드가 계속 초록색이어도, 주간 기준으로 다시 측정하면 실제 성과 점수는 떨어질 수 있다. 시간에 따른 드리프트를 보지 않으면 좋은 상태처럼 보이는 착시가 생긴다.
14. 18:50
    ROI 질문 에이전트의 ROI는 단순한 일자리 대체가 아니라 어떤 반복 업무를 덜어주고 사람의 시간을 더 가치 있는 일에 쓰게 했는지로 봐야 한다. 에이전트가 만들어낸 여유 시간이 매출이나 서비스 품질로 어떻게 전환되는지가 핵심이다.
15. 20:00
    산업마다 다른 기준 같은 containment라도 금융, 의료, HR, IT, 고등교육은 서로 다른 적정 기준을 가진다. 따라서 하나의 보편적 숫자로 비교하기보다 산업별 맥락과 운영 방식에 맞춰 평가해야 한다.

실무 인사이트

• 에이전트를 평가할 때는 containment 같은 단일 지표보다 거버넌스, 권한, 결과 검증까지 포함한 다차원 점수표를 먼저 설계하는 것이 실무적으로 유리하다.
• 자율형과 human-in-the-loop형 에이전트는 허용 오차와 리스크 기준이 다르므로, 배포 전에 성공 기준과 실패 허용 범위를 명확히 문서화해야 한다.
• 대시보드가 좋아 보여도 주간 단위 재측정과 드리프트 추적을 붙이지 않으면 실제 성능 저하를 놓치기 쉽다.