Why No One Agrees on What Their AI Tokens Cost - Pratyusha Duvvuri, Cisco

한 줄 핵심

AI 토큰 비용은 공급사별 대시보드로는 제대로 관리할 수 없으므로, 사용량·비용의 가시성과 해석 가능성을 한곳에 묶는 tokenomics 제품이 필요하다는 주장이다.

시간별 요약

1. 0:00
   소개 배경음악으로 시작하며, 이후 tokenomics를 둘러싼 혼란스러운 현실과 제품의 필요성을 설명할 흐름을 예고한다.
2. 0:12
   tokenomics가 당신에게 의미하는 것 100개 이상의 고객사와 인터뷰해 보니 tokenomics의 의미가 사람마다 크게 달랐고, 단순한 관측부터 전사 ROI 분석까지 해석의 폭이 매우 넓었다. 발표자는 토큰 사용과 비용을 다루는 자신만의 관점을 제시하겠다고 밝히며 논의를 시작한다.
3. 1:49
   AI 지출의 세 가지 흐름 AI 지출은 단순히 많이 쓰는 시대에서 효율을 따지는 시대로 바뀌었고, 내부용과 외부용 모델 선택 기준도 달라졌다. 또한 공급사별로 토큰 단가와 과금 방식이 제각각인 맞춤 계약이 일반화되면서 비용 관리의 복잡성이 크게 커졌다.
4. 4:42
   세 가지 사용자 유형 제품의 핵심 사용자로 엔지니어, 엔지니어링 매니저, 재무 담당자를 구분한다. 각 집단은 모델 선택, 예산 초과, KPI와 ROI 같은 서로 다른 질문을 갖고 있어 하나의 관점만으로는 만족시키기 어렵다.
5. 6:46
   공급사 대시보드만으로는 부족한 이유 OpenAI나 Anthropic 같은 개별 공급사 대시보드는 전체 그림을 보여주지 못하고, 여러 공급사를 넘나드는 사용량을 한눈에 보려면 별도의 통합 보기가 필요하다. 또한 사후 정산 과정에서 청구 금액이 바뀔 수 있어, 단일한 진실의 출처와 조직별 책임 매핑이 중요해진다.
6. 8:34
   tokenomics의 정의 tokenomics는 토큰 사용량과 비용의 관측 가능성과 해석 가능성으로 정의된다. 결국 어떤 모델을 얼마나 어떤 용도로 쓰는지, 그리고 그 지출이 어떤 ROI를 만드는지를 이해하는 것이 핵심이다.
7. 9:18
   시작하려면 필요한 것 제품을 쓰려면 Workday나 ADP 같은 인사 체계, OpenAI·Anthropic 등의 API 키와 org ID, 그리고 회사마다 다른 재무 계층 구조가 필요하다. 다만 민감한 인사 정보는 최소한의 필드만 CSV로 받아도 동작하도록 설계해 진입 장벽을 낮췄다.
8. 10:51
   tokenomics 대시보드 데모 대시보드는 기간 필터, 재무용 캘린더, 리더 뷰, 비용·채택 대시보드, 예측 사용량 그래프를 제공한다. 조직 계층과 직무군별로 비용이 롤업되며, 모델별·사고 패턴별·개인별로 사용량과 비용을 세밀하게 나눠 볼 수 있다.
9. 14:35
   재무 관점 재무 뷰에서는 OPEX와 COGS 기준의 계층 구조에 맞춰 부서 단위로 비용이 정리되고, 재무 담당자와 분석가가 볼 수 있는 범위가 엄격히 통제된다. 관리자는 자기 팀만 보게 하고, 권한에 따라 노출 범위를 제한하는 것이 핵심이다.
10. 15:48
    앞으로의 계획 10주 만에 GA까지 밀어붙인 제품이며, 현재도 기능 요청이 계속 들어오고 있다. 앞으로는 예측 기능과 ROI 추론처럼 토큰 사용을 비즈니스 성과와 연결하는 기능이 추가될 예정이다.
11. 16:44
    구축 과정의 어려움 정의가 계속 바뀌는 영역에서 확장 가능한 제품을 만드는 일은 목적지가 불분명한 항해와 같았다. 서로 다른 세 가지 사용자군을 동시에 만족시키는 단순한 UX, 그리고 공급사 정산 변경과 조직 변화까지 반영하는 데이터 정합성이 가장 큰 난제였다.

실무 인사이트

• 토큰 비용 관리는 단순한 대시보드가 아니라, 여러 공급사·조직 계층·재무 기준을 한 번에 묶는 데이터 제품으로 접근해야 실무에서 쓸 수 있다.
• 내부 효율과 외부 고객 경험의 기준이 다르므로, 같은 모델이라도 상황별로 비용과 품질의 트레이드오프를 다르게 설계해야 한다.
• 토큰 사용량을 예산 항목으로만 보지 말고, 부서·직무·성과 지표와 연결해야 재무와 현업 모두가 납득할 수 있다.