Tokens Are the Cheap Part — Steve Jamison, Jellyfish

한 줄 핵심

AI 토큰 비용만 보면 과소평가되며, 개발자 인건비를 포함한 PR당 총비용으로 보면 더 많은 AI 사용이 대부분의 회사에서 이미 더 낮은 전달 비용과 더 높은 처리량으로 이어지고 있다.

시간별 요약

1. 0:00
   AI 지출과 병합 PR 처리량은 함께 움직인다 AI 비용은 빠르게 늘고 있지만 병합 PR 수 역시 크게 증가하고 있으며, 두 지표만으로는 지출이 과한지 생산성이 충분한지 판단할 수 없다. 경쟁사와의 단순 비교도 부족하고, CFO나 이사회에 설명하려면 실제로 무엇이 비용을 만들고 무엇이 성과를 만드는지 함께 봐야 한다.
2. 2:48
   개발자 급여를 비용 모델에 포함한다 AI 비용은 PR 생산 비용의 일부일 뿐이고, 가장 큰 비용은 개발자 급여다. 따라서 AI 지출과 인건비를 합쳐 PR 하나를 만드는 데 드는 '지능 비용'으로 봐야 하며, 이 관점에서는 AI가 차지하는 비중이 매우 작다.
3. 4:15
   병합된 pull request당 배분 비용 지난 1년 동안 병합 PR당 달러 비용은 26% 하락했고, 그 안에는 AI 비용이 60배 증가한 효과까지 이미 포함되어 있다. 이는 추가 처리량이 급여 비용을 더 많은 PR에 분산시키면서 AI 비용 상승보다 더 큰 효율 개선을 만들고 있다는 뜻이다.
4. 5:00
   가벼운 지출 그룹과 무거운 지출 그룹 비교 토큰 사용량으로 회사를 5분위로 나누면, 적게 쓰는 그룹과 많이 쓰는 그룹의 격차는 매우 크다. 많이 쓰는 그룹일수록 PR 처리량 증가폭과 PR당 비용 하락폭이 더 크지만, 토큰 증가에 따른 개선은 점점 줄어드는 체감 수익 구간도 함께 보인다.
5. 8:55
   개발자 개개인의 이전 주차와 비교 회사 단위뿐 아니라 개발자 개인 단위로 봐도, 토큰을 더 많이 쓴 주에는 병합 PR 수가 늘고 PR당 총비용이 더 낮아진다. 즉 효과는 조직 평균에만 있는 것이 아니라 실제 작업 단위에서도 반복되며, 속도 향상이 곧바로 품질 저하를 뜻하지는 않는다.
6. 10:12
   revert를 제한적인 품질 대리 지표로 본다 더 빠르고 저렴하게 일하면 실수도 늘어나는지 확인하기 위해 revert 비율을 봤지만, 토큰 사용이 많은 그룹에서 뚜렷한 품질 악화 신호는 보이지 않는다. 다만 변화 폭이 작아 이것만으로 품질 개선을 입증할 수는 없고, 심각한 품질 문제의 징후가 없다는 정도로 해석하는 것이 맞다.
7. 11:02
   작업 크기와 코드 줄 수 처리량 증가는 작은 PR이 늘어서가 아니라 오히려 PR당 생성되는 코드 줄 수가 늘어났기 때문이다. AI가 더 많은 코드를 쉽게 만들 수 있게 하면서 한 번에 더 큰 작업을 처리하게 되고, 따라서 PR 수 증가의 원인은 작업 분할 축소보다 산출량 확대에 가깝다.
8. 15:02
   토큰 지출을 상한 설정하기 전에 던져야 할 질문들 무작정 토큰을 줄이기보다, 총 지능 비용과 PR당 처리량, 품질 지표를 함께 보며 무엇이 실제로 효율을 높이는지 판단해야 한다. 비용을 억제하는 투자보다 처리량을 높이는 투자에서 더 큰 효율이 나올 수 있으므로, 예산 시즌에는 토큰 청구서가 아니라 PR당 비용 지표를 중심으로 의사결정해야 한다.

실무 인사이트

• AI 예산은 단독 지표로 두지 말고, 인건비를 포함한 PR당 총비용과 함께 봐야 실제 효율 개선 여부를 판단할 수 있다.
• 토큰 사용을 줄이는 것이 항상 정답은 아니며, 일정 구간까지는 더 많은 사용이 더 낮은 PR당 비용으로 이어질 수 있다.
• 품질 우려는 revert 같은 단일 대리 지표에만 의존하지 말고, 처리량·비용·품질을 동시에 모니터링해야 한다.