The Agent Works. Does Anyone Trust It? — Michele Grant, Leading at Scale

한 줄 핵심

에이전트는 작동하는 것만으로는 충분하지 않으며, 기업 가치·책임·증거 체계를 먼저 설계해야 비로소 조직이 신뢰하고 대규모 운영에 투입할 수 있다.

시간별 요약

0:00
작동하는 에이전트에서 조직적 신뢰로 에이전트의 성공 기준은 기술적 가동이 아니라 비즈니스가 예산한 가치를 실제로 만들면서 승인된 리스크 한도와 규정을 지키는 데 있다. 이를 위해서는 가치, 책임자, 추가 자율성의 근거를 먼저 정의해야 하며, 이는 엔지니어링보다 경영진의 운영 의사결정에 가깝다.
2:34
인수 통합의 예시 시나리오 $15 billion 인수와 400 million 시너지 목표를 가진 통합 조직에서, IMO가 40개 워크스트림의 수치를 정리해 경영진용 자료를 만드는 상황이 제시된다. 에이전트가 초안 작성과 수치 대조를 자동화해도, 본격 운영 전에는 경영진이 신뢰할 수 있는 가치 정의와 검증 기준이 먼저 필요하다.
4:47
기준선 대비 가치 측정 가치는 cycle time, analyst capacity, detection time의 세 가지 지표로 측정해야 하며, 모든 지표에는 배포 전 기준선이 있어야 한다. 계산 비용과 인적 검토 비용을 반영한 순가치만 인정되며, 기준선이 없으면 성과 개선을 증명할 수 없으므로 배포해서는 안 된다.
6:29
세 가지 책임선에 걸친 책임 소재 첫 번째 책임선은 관리자가 통제와 산출물에 대한 책임을 지고, 두 번째 책임선은 risk와 compliance가 감독과 도전을 맡으며, 세 번째 책임선은 internal audit가 보증 역할을 맡는다. 또한 매일 에이전트를 검토하는 담당자가 필요하고, 그 사람은 경계 이해, 맥락 해석, 수정 권한, 긴급 중지 권한을 갖춰야 한다.
8:14
Human Works 표준 사람이 최종 판단해야 하는 지점, 필요한 증거, 에스컬레이션 경로를 한 페이지 정책으로 명확히 적어 두어야 한다. 에이전트는 분석을 준비하는 역할까지만 맡고, 누가 어떤 결정을 내릴지와 그 결과 책임은 인간에게 남겨 두어야 배포가 지연되지 않는다.
9:54
결정 로그와 에이전트 목록 자율성을 높이려면 감사 가능한 decision log, model inventory record, regression trigger 관리가 필요하다. 핵심 계산은 deterministic code로 처리하고, LLM의 서술은 설명으로만 취급하며, 실제 증거는 텔레메트리와 승인 기록에 남겨야 한다.
11:51
네 단계의 자율성 자율성은 shadow mode, supervised draft, exception ensemble, exceptions only의 네 단계로 점진적으로 확대된다. 단계가 올라갈수록 사람은 전부를 보지 않고 고위험 예외와 일부 샘플만 검토하며, 독립 샘플링이 그 검토 수준의 타당성을 확인한다.
12:50
독립 샘플링과 놓친 이슈 예외만 보는 단계에서는 에이전트가 걸러내지 못한 중대한 문제를 놓치는 것이 가장 큰 위험이므로, 독립 샘플링으로 missed material issues를 추적해야 한다. override rate가 낮아졌다고 해서 반드시 성능이 좋아진 것은 아니며, 검토 깊이가 얕아졌을 가능성도 함께 봐야 한다.
13:29
이 프레임워크가 리더에게 허용하는 결정 가치 지표와 통제 지표를 한 화면에서 비교하면, 경영진은 에이전트를 승격, 유지, 후퇴, 또는 supervised review로 되돌릴지 데이터 기반으로 결정할 수 있다. 결국 에이전트의 신뢰는 자동화 그 자체가 아니라, 가치·책임·증거를 일관되게 증명하는 운영 체계에서 나온다.

실무 인사이트

에이전트 도입은 모델 성능 평가보다 먼저 비즈니스 기준선과 책임 구조를 정의하는 일이 우선이다.
운영 신뢰는 정성적 기대가 아니라 decision log, model inventory, independent sampling 같은 감사 가능한 증거로 만든다.
자율성 확대는 한 번에 주지 말고 단계적으로 올리며, 예외율보다 놓친 이슈와 검토 깊이를 함께 모니터링해야 한다.