What a $900M Bank Error Teaches Us About AI Agents - John Feminella, Two Sigma

한 줄 핵심

대규모 자율성을 가진 AI 에이전트도 금융 시스템처럼 보이게 하고, 위험도에 따라 통제하며, 도구·평가·실행 정책을 분리하면 안전과 속도를 함께 얻을 수 있다.

시간별 요약

1. 0:00
   소개 Two Sigma에서 AI 아키텍처와 엔지니어링을 맡고 있으며, 오늘의 논의는 개인 의견이라는 법적 고지로 시작한다.
2. 0:43
   통제가 실패할 때 규제가 많은 조직일수록 통제가 왜 존재하는지 이해하려면, 실제로 통제가 실패했을 때 어떤 일이 벌어지는지 보는 것이 중요하다.
3. 1:03
   $900M Revlon 지급 실수 Revlon 대출 상환 과정에서 Citibank의 내부 처리 오류로 원금이 와시 계좌로 가지 못했고, 8 million 달러의 이자 지급이어야 했던 거래가 약 900 million 달러의 원금 상환으로 처리되어 대형 사고가 발생했다.
4. 4:58
   이것이 AI 에이전트와 무슨 관련이 있는가 실제 시스템에 실질적 자율성을 부여하는 순간, 잘못된 행동을 막기 위해 전면 봉쇄도, 운에 맡기는 방식도 아닌 통제 설계가 필요해진다.
5. 5:22
   인간도 결정론적이지 않다 에이전트는 비결정적이지만 인간도 실수하는 비결정적 시스템이므로, 안전은 자율성과 양립 불가능한 것이 아니라 경계·가시성·통제를 함께 제공하는 문제로 봐야 한다.
6. 6:07
   통하지 않는 접근 모든 것을 샌드박스에 가두거나, 아무렇게나 풀어두거나, 실행 시 강제력이 없는 정책 문서에만 의존하는 방식은 각각 안전성, 유용성, 집행 가능성 측면에서 한계가 있다.
7. 7:32
   통제 1: 에이전트 레지스트리 에이전트의 소유자, 도구, 엔드포인트, 제품 귀속 정보를 레지스트리에 기록해 가시성을 확보해야만, 무엇이 존재하는지 알고 재사용과 거버넌스를 동시에 할 수 있다.
8. 9:47
   통제 2: 위험 기반 검토 모든 에이전트에 같은 검토 절차를 적용하면 저위험 실험까지 병목이 되므로, 요약기처럼 가벼운 작업과 운영 배포처럼 고위험 작업을 위험도에 따라 다른 심사 경로로 분리해야 한다.
9. 11:47
   통제 3: 도구는 목적을 따른다 에이전트는 목적을 먼저 선언하고 그 목적에 필요한 도구만 요청해야 하며, 런타임은 레지스트리의 정책을 바탕으로 접근 가능한 엔드포인트와 리소스를 강제해야 한다.
10. 14:42
    통제 4: 공유 평가 모든 팀이 제각각 평가 체계를 만드는 대신, 공통 평가 프레임워크를 조직 차원에서 제공해 모델 변경이 출력 품질에 미치는 영향을 일관되게 검증해야 한다.
11. 16:17
    통제 5: 승인 피로 끝내기 모든 행동을 사람이 직접 승인하게 하면 승인 피로로 인해 위험한 요청까지 무의식적으로 허용하게 되므로, 일상적 결정은 보수적 분류기가 처리하고 사람은 중요한 예외만 보게 해야 한다.
12. 18:07
    전체를 함께 보기 레지스트리, 위험 점수, 최소 권한 도구 접근, 공유 평가, 런타임 분류를 함께 쓰면 에이전트의 가시성과 안전성을 확보하면서도 배포 속도를 유지할 수 있다.
13. 18:32
    자동차에 브레이크가 있는 이유 브레이크는 멈추기 위해서만 있는 것이 아니라 빠르게 달리면서도 안전하게 멈추기 위해 존재하며, 에이전트 통제도 같은 원리로 혁신을 가능하게 만든다.

실무 인사이트

• 에이전트 거버넌스는 전면 차단보다 ‘가시성-위험도-권한-평가-실행’의 다층 구조로 설계할 때 현업 적용성이 높다.
• 저위험 작업과 고위험 작업을 같은 승인 대기열에 넣지 않는 것만으로도 조직의 AI 도입 속도를 크게 높일 수 있다.
• 사람이 반복 승인해야 하는 구조는 필연적으로 피로를 낳으므로, 명확한 규칙은 자동화하고 불확실한 경우만 사람에게 올리는 설계가 필요하다.