FinOps for AI Agents: Who Spent All the Tokens? — Tisha Chawla & Susheem Koul, Microsoft

한 줄 핵심

AI 에이전트 비용을 줄이려면 단순한 모델 호출 차단이 아니라, 실행 단위에서 귀속·예산·정책·행동을 함께 제어하는 관리면을 둬야 한다는 주장이다.

시간별 요약

1. 0:00
   토큰 최대화에서 가치 최대화로 현재 업계는 탐색을 위해 토큰을 많이 쓰는 것을 당연하게 여기지만, 에이전트 워크플로의 청구서가 어디서 생겼는지 추적하기 어렵다는 문제가 크다. 이제는 “누가 토큰을 썼는가”를 묻는 수준을 넘어, 그 지출이 실제 가치로 이어졌는지를 기준으로 비용 관점을 바꿔야 한다.
2. 1:58
   각 시대에는 통제면이 있었지만 지금은 없다 SaaS는 UI와 좌석·사용량 제한이, 클라우드는 pay-as-you-go와 오토스케일링이 통제 수단이었다. 반면 agentic era는 비용이 모델 호출에서 발생하는데도 실행 흐름을 제어하는 적절한 통제면이 부족해서, 무제한 소비와 runaway loop가 비용 폭증으로 이어진다.
3. 4:30
   모델 호출 경계에서의 첫 원리 비용은 model call boundary에서 만들어지므로, 어느 run이나 agent가 그 호출을 일으켰는지 귀속할 수 있어야 관리가 가능하다. 과도한 loop나 컨텍스트 팽창처럼 특정 문제를 발견하면 즉시 그 자리에서 정책으로 완화하고, 최후의 수단으로만 budget cap에 따른 halt를 걸어야 한다.
4. 6:19
   게이트웨이만으로는 부족한 이유 기존 token ops 도구는 주로 요청(request) 수준에서 routing이나 hard cap을 건다. 그러나 필요한 것은 agent run과 tool 호출 사이의 루프, sub-agent 생성, 컨텍스트 증가 같은 실행 흐름 자체를 제어하는 방식이며, 이를 위해 누적 예산과 인플레이스 compaction·caching·정책 적용이 가능한 구조가 필요하다.
5. 8:57
   SDK 측면: 경계, 원장, 거버너 제안된 아키텍처는 코드와 분리된 out-of-band plane 위에서 instrumentation, accounting, enforcement의 3개 모듈로 구성된다. boundary annotation은 입력·출력을 원장에 기록하고 control plane이 action을 내려보내는 통로가 되며, governor는 개발자가 허용한 행동만 비파괴적으로 적용하도록 제어한다.
6. 13:13
   세그먼트, 예산, 액션, 정책 attribution metadata로 cohort 같은 segment를 만들고, 그 단위에 run이나 시간창 기반 budget을 적용해 세밀하거나 거친 수준의 통제를 모두 지원한다. actions는 크게 halt와 steer로 나뉘며, 여러 budget과 action을 policy로 묶어 특정 segment나 agent run에 대해 실행한다.
7. 14:53
   중단과 유도 halt는 예산 초과 시 agent를 멈추는 방식이고, steer는 agent를 죽이지 않고 행동이나 구성요소를 조정해 예산 안으로 들어오게 만든다. 이 접근은 단순 차단보다 훨씬 유연하며, 생산 환경에서 보호장치를 시험하고 thresholds를 조정하는 데 적합하다.
8. 16:36
   데모: 미리보기 모드 다음 강제 집행 preview mode에서는 정책은 실행되지만 enforcement는 하지 않아, 실제 서비스에 넣기 전에 guardrail이 어떤 식으로 동작하는지 안전하게 검증할 수 있다. governance를 켜면 예산 초과 시 즉시 kill되는 halt 사례를 볼 수 있고, 이후에는 비용 관리의 실질적 가치를 보여주는 steer 동작으로 이어진다.
9. 18:17
   비용 가드와 소비 속도 기반 유도 cost guard는 현재까지 소비한 예산과 토큰 소비 속도를 함께 보고, 끝까지 가면 예산을 초과할지 예측한다. 초과가 예상되면 system instructions에 “더 간결하게 요약하라” 같은 지시를 주입해 출력 길이와 행동을 줄이는 방식으로 steering한다.
10. 19:06
    벤치마크 결과와 정책 카탈로그 browser use와 metagp에 대한 벤치마크에서 평균 지출은 약 78% 감소했고, completion rate는 throttling 대비 67%에서 약 96%로 올라갔다. 지원 정책은 spend management, context management, loop detection, progress detection 등 다양한 실패 모드를 포괄하며, 최종 목표는 원장 데이터를 바탕으로 새 정책을 자동 생성·개선하는 self-learning control plane이다.
11. 20:47
    자기 학습형 제어면 누적된 ledger를 분석해 아직 잡지 못한 failure mode를 찾아내고, 부족한 패턴에 맞춰 정책을 새로 만들거나 기존 파라미터를 조정하는 제어면이 궁극적인 방향이다. 이렇게 해야 runaway cost를 사후 대응이 아니라 학습을 통해 점점 더 효과적으로 줄일 수 있다.

실무 인사이트

• 에이전트 비용 관리는 모델 게이트웨이보다 run-level 귀속과 정책 실행이 가능한 control plane에서 설계해야 효과적이다.
• 실서비스 적용 전에는 preview mode로 정책을 검증하고, halt보다 steer 정책을 먼저 확장해 사용자 경험 손실을 줄이는 것이 유리하다.
• 원장 데이터를 계속 쌓아 실패 모드를 학습하는 구조를 넣으면, 비용 최적화가 일회성 설정이 아니라 지속 개선되는 운영 체계가 된다.