Stop Renting Your Cognitive Infrastructure - Thiyagarajan Maruthavanan, Kalmantic Labs

한 줄 핵심

AI 추론 비용이 빠르게 커지는 시대에는 실험 단계에서는 빌려 쓰더라도, 제품화·운영·규모 확장 구간에서는 자체 추론 인프라를 소유해야 비용과 통제권을 지킬 수 있다는 주장이다.

시간별 요약

1. 0:00
   외부 추론 API를 쓰면 처음에는 저렴해 보여도 사용량이 쌓이며 비용이 예산을 쉽게 넘고, 특히 토큰 예산을 직관적으로 통제하기 어렵다는 문제가 커진다. 대형 리테일 사례, Uber CTO 사례, 그리고 직접 겪은 비용 폭증 경험을 통해 이 위험을 강조한다.
2. 1:01
   Ultrazone 사례에서는 수십만 명 사용자로 인해 inference 비용이 수십만 달러까지 불어났고, 그 원인으로 입력 컨텍스트 관리 부족, 입력 토큰 압축 미흡, 에이전트 루프에서 발생하는 불필요한 호출이 지목된다. 추론 엔드포인트는 워크로드 형태를 모르기 때문에 이런 낭비를 스스로 줄여주지 못한다.
3. 2:00
   API 키 탈취로 인해 비용이 단기간에 급등한 사례는 외부 의존이 보안과 과금 측면에서 얼마나 취약한지 보여준다. 이를 막기 위해서는 단순한 비용 절감이 아니라 키 관리, 접근 통제, 사용량 감시까지 포함한 운영 설계가 필요하다.
4. 3:01
   대안으로는 open source 모델을 직접 돌리는 token factory 방식, 즉 클라우드의 inference endpoint나 로컬 DGX box 같은 자체 GPU 인프라를 활용하는 방식이 제시된다. 직접 운영하면 memory 병목 같은 기술 문제는 있지만, agents를 포함한 여러 애플리케이션을 더 유연하게 확장할 수 있다.
5. 4:01
   기업 고객에서는 비용보다도 통제권, 감사 대응, 재현 가능성이 더 큰 장애물이 된다. 투자 펀드는 rate limit 통제권을 원하고, 병원은 third-party vendor 의존이 audit에서 문제되며, 세무 업무는 모델 내부를 볼 수 있어야 결과를 재현할 수 있다는 점이 핵심이다.
6. 5:01
   결론적으로 pre-product market fit 단계의 스타트업은 빌려 쓰며 검증할 수 있지만, post-product market fit이나 enterprise 단계에서는 자체 인프라를 구축해야 한다는 기준이 제시된다. 단계적으로는 임대가 학습용이지만, 수익화와 확장 국면에서는 소유가 필요하다는 메시지로 정리된다.

실무 인사이트

• 에이전트 비용 최적화는 모델 선택보다 먼저 컨텍스트 관리, 입력 압축, 루프 호출 수 절감부터 점검해야 효과가 크다.
• 기업 도입에서는 비용 절감만으로는 부족하고, 감사 가능성·재현성·권한 통제가 가능한지까지 함께 설계해야 한다.
• 실험 단계에서는 rented intelligence를 쓰되, 제품-시장 적합성 이후에는 자체 inference infrastructure로 전환하는 로드맵을 미리 준비하는 것이 안전하다.