Give the Agent a Budget, Not a Token — Sachin Malhotra, Anthropic

한 줄 핵심

에이전트 운영은 토큰 하나로 허용·차단을 나누는 방식이 아니라, 실행 권한·속도·복구 가능성·감시 구조를 묶은 예산과 신원 스탬프로 관리해야 안전하게 확장된다.

시간별 요약

1. 0:00
   데모와 배포 이후의 현실 에이전트 데모는 멋진 결과를 빨리 보여주지만, 실제 문제는 배포 이후에 시작된다. 생산 환경에서 일하는 에이전트는 단순한 도구 목록만으로는 감당할 수 없는 방식으로 행동할 수 있다.
2. 1:02
   90초 만에 200개 워크로드가 삭제된 사례 정리 작업을 하던 에이전트가 필터가 비어버린 상태에서 대상을 전부 매칭해 약 200개 워크로드를 삭제했고, 그 결과 20명 정도의 엔지니어 작업이 90초 만에 사라졌다. 의도는 악의가 아니라 정리였지만, 생산 환경에서는 이런 오작동만으로도 치명적이다.
3. 2:42
   더 좁은 토큰 범위가 해결책이 아닌 이유 문제를 토큰 스코프를 더 좁히는 방식으로만 해결하면 잠깐은 버티더라도 결국 사람이 수동으로 대신 실행하게 된다. 에이전트 통제는 yes/no 권한이 아니라, 신입 엔지니어 온보딩처럼 구조화된 정책이어야 한다.
4. 4:23
   토큰은 참/거짓이고, 예산은 여러 차원이다 토큰은 허용 여부만 정하는 정적 목록이지만, 예산은 얼마나 할 수 있는지, 얼마나 자주 할 수 있는지, 무엇을 스스로 되돌릴 수 있는지, 누가 감시하는지까지 포함한다. 따라서 에이전트 권한 관리는 단순한 허용 목록이 아니라 다차원 예산으로 설계해야 한다.
5. 6:05
   비대칭 동사와 skip·unskip 겉보기에는 비슷한 행동이라도 실제 폭발 반경은 다를 수 있으므로 리소스보다 동사를 먼저 봐야 한다. 실패가 대시보드에서 크게 드러나는 unskip 같은 작업은 맡길 수 있지만, 실패가 조용히 지나가는 skip 같은 작업은 인간이 개입해야 한다.
6. 8:34
   재충전되는 상한선인 레이트 리밋 레이트 리밋은 시간 창마다 재충전되는 상한선으로, 에이전트에 자율성을 주되 단일 루프의 피해를 제한한다. 삭제 수를 시간당·리소스 종류별·네임스페이스별로 제한하고, 우회 플래그는 인간에게만 남겨 두는 방식이 핵심이다.
7. 10:16
   허용 목록보다 트립 와이어가 낫다 허용 목록은 사전에 추측한 정적 규칙이라 쉽게 낡지만, 트립 와이어는 실제 행동을 관찰해 나중에 더 정확해진다. 집계된 이상 징후를 감지해 온콜을 깨우고, 필요하면 에이전트의 컨텍스트 몇 줄만 고쳐 다음 행동을 바꾸는 방식이 효과적이다.
8. 12:47
   되돌릴 수 있는지 보는 언두 테스트와 두 번째 키 언두 테스트는 에이전트가 스스로 되돌릴 수 있는지, 그리고 잘못했을 때 피해가 얼마나 큰지를 묻는 기준이다. 둘 중 하나라도 불충분하면 에이전트가 아닌 다른 주체가 가진 두 번째 키와 감사 기록이 필요하다.
9. 13:37
   기능 플래그: 카나리와 프로덕션 카나리에서는 에이전트가 기능 플래그를 0에서 100까지 조절하고 되돌릴 수도 있지만, 프로덕션 승격은 직접 할 수 없다. 에이전트의 역할은 제안과 사전 검증까지이며, 최종 승격은 범위가 분리된 키를 가진 인간 영역에 남는다.
10. 15:19
    정책이 존재하는 두 곳: 텍스트와 인프라 정책은 프롬프트·컨텍스트 파일 같은 텍스트와, 403을 반환하는 프록시 같은 인프라에 동시에 있어야 한다. 텍스트는 의도를 설명하고 인프라는 강제하며, 둘 중 하나만으로는 안전성과 유연성을 함께 얻기 어렵다.
11. 17:49
    프록시가 호출자 대신 신원을 찍어야 하는 이유 에이전트가 자기 신원을 직접 정하게 두면 헤더만 바꿔 예산을 리셋할 수 있으므로, 신원은 요청이 아니라 인프라가 찍어야 한다. 프록시가 세션별 실제 자격 증명과 식별자를 관리할 때만 레이트 리밋, 승인, 트립 와이어가 제대로 작동한다.

실무 인사이트

• 에이전트 권한 설계는 '무엇을 할 수 있나'보다 '실패했을 때 즉시 보이는가, 되돌릴 수 있는가'를 먼저 기준으로 삼아야 한다.
• 운영 안전장치는 허용 목록보다 레이트 리밋·트립 와이어·감사 로그처럼 실제 행동을 제어하고 관찰하는 구조가 더 오래 버틴다.
• 에이전트가 스스로 신원을 주장하게 두지 말고, 프록시나 게이트웨이에서 세션 단위로 신원을 고정해야 예산 우회와 책임 회피를 막을 수 있다.