From Tokenmaxxing to Trusted Throughput — Mingsheng Hong, Ironclad

한 줄 핵심

AI 토큰 사용량을 줄이는 것보다 먼저 도입을 확산시키고, 비용·가치·리뷰·CI 병목을 함께 측정해 신뢰할 수 있는 처리량을 키워야 한다.

시간별 요약

1. 0:00
   토큰 순위표가 역효과를 내는 이유 토큰 사용량을 공개적으로 경쟁시키면 효율 개선이 아니라 사용량 극대화가 목표가 되기 쉽고, 대규모 비용 사고 사례처럼 실제 위험도 커진다. 따라서 비용 논의는 시작하되, 잘못된 인센티브를 만들지 않도록 설계해야 한다.
2. 1:34
   대시보드는 연기 감지기처럼 써야 한다 팀·개인별 토큰 사용 대시보드는 이상 징후를 찾는 연기 감지기처럼 활용해야 하며, 순위표로 운영하면 안 된다. AI 도입이 아직 초기인 팀에는 비용 통제보다 접근성 확보와 채택 확산이 우선이다.
3. 2:56
   비용 관리보다 먼저 넘어야 할 도입의 벽 도입이 충분히 진행되지 않은 상태에서 비용 최적화에 들어가면 거부감만 커질 수 있다. 손으로 코드를 쓰는 기쁨을 잃었다는 불만처럼, 개인의 동기를 이해하고 여전히 성장 가치가 있는 기술 작업을 남겨줘야 한다.
4. 4:19
   기술을 잃어버린 엔지니어들 AI 시대에도 엔지니어가 계속 성장하려면 단순 생성물 검토가 아니라 높은 임팩트의 기술 과제를 맡아야 한다. Ironclad에서는 법률 계약 AI 제품을 만들며, 정확성보다 먼저 신뢰가 제품 경쟁력의 핵심 제약으로 작동한다.
5. 5:44
   Ironclad에서 제품의 핵심 제약은 신뢰 토큰 지출을 줄이는 것 자체가 목적이 아니라, 같은 지출로 더 많은 가치를 내는 것이 목적이다. 이를 위해 내부 검토, 검증, 고객 배포까지 통과한 결과만을 가치로 보는 trusted throughput 개념을 세운다.
6. 7:09
   여러 벤더에 걸친 비용 측정 단일 도구를 쓰면 벤더 대시보드로 충분하지만, 여러 coding tool을 쓰면 자체 파이프라인으로 데이터를 모아 팀·개인별로 교차 집계해야 한다. 비용 측정 뒤 곧바로 절감에 들어가기보다, 먼저 가치도 함께 측정해야 ROI를 볼 수 있다.
7. 8:33
   비용 절감부터 시작하는 것은 너무 이르다 대시보드는 도입 격차와 사용량 급증을 찾아내고, 팀별 맥락 차이를 반영해 해석해야 한다. 단순한 순위 매기기나 보상은 피해야 하며, 데이터를 통해 조직의 학습 루프를 만들어야 한다.
8. 9:58
   줄 수와 최적화하면 안 되는 지표들 lines of code처럼 중요한 지표라도 직접 최적화 대상으로 삼으면 왜곡이 생긴다. AI 토큰 사용량도 마찬가지이며, 열린 PR 개수처럼 중간 지표에서 출발하더라도 최종적으로는 실제로 병합되고 배포되는 가치로 옮겨가야 한다.
9. 11:20
   열린 pull request에서 가중 병합으로 open PR 수보다 merge PR 수가 더 낫지만, 모든 병합 PR의 가치가 같지는 않다. 그래서 PR의 복잡도를 AI로 대략 점수화해 가중치를 주고, 더 복잡한 작업을 더 큰 성과로 계산하는 방향으로 지표를 진화시킨다.
10. 12:43
    trusted throughput의 실제 의미 trusted throughput은 테스트 통과, 보안 검사, 카나리 배포 같은 객관 지표와 코드·설계 리뷰 같은 인간 판단, 그리고 고객의 실제 반응을 함께 묶은 고품질 출력이다. 내부 품질과 외부 신뢰가 모두 확인되어야 가치가 완성된다.
11. 14:06
    병목은 리뷰와 CI로 이동한다 코드 생성이 쉬워질수록 병목은 PR 생성이 아니라 리뷰와 CI, 머지 단계로 이동한다. CI가 느리다고 해서 큰 PR로 우회하면 인간 리뷰 부담과 품질 저하가 커지므로 위험한 대응이다.
12. 15:30
    AI는 첫 번째 검토, 인간은 판단 AI 리뷰는 스타일, 테스트 누락 같은 기계적 문제를 먼저 걸러내는 1차 방어선으로 두고, 인간은 아키텍처와 보안처럼 판단이 필요한 영역에 집중해야 한다. 이렇게 해야 사람의 책임과 최종 판단은 유지하면서 검토 효율을 높일 수 있다.
13. 16:56
    불안정한 테스트, 상시 대기, 그리고 사기 저하 flaky test와 잦은 재시도는 엔지니어를 PR 감시에 묶어두고, AI 에이전트로 대신 돌려도 토큰 낭비가 생긴다. 따라서 CI 인프라와 개발자 경험을 개선하고, 제출 대기 시간과 재시도 횟수 같은 지표를 관리해야 한다.
14. 18:19
    가드레일, 예산, 이상 알림 예산·쿼터·이상 탐지를 통해 위험 신호를 빠르게 잡고, 사람의 리뷰와 함께 학습 루프를 닫아야 한다. 또 agentic loop를 쓸 때는 반복 횟수 제한을 두고, prompt caching과 context pruning을 습관화해 토큰 낭비를 줄여야 한다.
15. 19:44
    prompt caching과 context pruning 고정된 system prompt를 앞에 두고 변하는 내용을 뒤에 두면 prompt caching의 이점을 살릴 수 있다. 긴 대화에서는 요약과 context 정리를 습관화해야 하고, 점점 더 많은 도구가 이를 자동화해 토큰 효율과 출력 품질을 함께 높인다.
16. 21:09
    무엇을 만들고 무엇을 살 것인가 IDE나 CI 인프라처럼 차별성이 낮은 것은 사오고, 내부 맥락이 강한 프롬프트 플레이북이나 특정 작업용 builder agent는 직접 만들어야 한다. AI 확산을 계획할 때는 build vs buy를 일찍 결정하고, 리뷰·CI 병목과 측정 체계를 함께 설계해야 한다.

실무 인사이트

• AI 사용량 관리는 절감부터가 아니라 도입 확산과 품질 병목 파악부터 시작해야 실패 확률이 낮다.
• 토큰 ROI를 보려면 비용 지표와 가치 지표를 같이 두고, 리뷰·CI·머지 과정의 병목을 수치로 관리해야 한다.
• AI 리뷰와 인간 리뷰를 분리해 1차 필터링과 최종 판단을 나누면 속도와 신뢰를 동시에 확보하기 쉽다.