Stop Rationing Tokens: Let the Harness Pick the Model — Kimchi by Cast AI

한 줄 핵심

Kimchi는 코딩 에이전트의 토큰 사용을 제한하기보다 하네스가 상황에 맞는 모델을 자동 선택하게 만들어, 같은 결과를 더 낮은 총비용으로 내는 방식을 제시한다.

시간별 요약

1. 0:00
   소개 Kimchi는 예외 상황에는 강한 모델을 쓰고 나머지는 오픈소스로 처리하는 코딩 에이전트 접근을 소개하며, 실제 엔지니어링 결과를 보여주겠다고 예고한다.
2. 0:13
   Kimchi를 소개하다 Cast AI가 만든 Kimchi와 그 코딩 플랫폼의 배경을 설명하고, 엔지니어링 책임자가 함께 등장해 실제 현업에서 쓰는 시스템임을 강조한다.
3. 0:52
   토큰 비용이 통제 불능이 되다 Anthropic에 대한 과도한 지출 사례와 Uber CTO의 사례를 들어, 기업에서 토큰 비용이 이미 심각한 운영 이슈가 되었음을 보여준다.
4. 1:31
   토큰 배급은 해답이 아니다 개발자에게 토큰을 제한하는 방식은 배터리가 1시간짜리 노트북을 주고 하루에 한 번만 충전하게 하는 것과 같으며, 관리자의 역할은 사용을 막는 것이 아니라 자유롭게 쓰게 만드는 데 있다고 본다.
5. 2:26
   토큰을 무제한에 가깝고 저렴하게 만들기 300명 규모의 조직에서 3개월간 코딩 에이전트를 사용하며, 토큰을 아끼게 하는 대신 비용 최적화 시스템을 만들어 실사용 결과를 검증해 왔다.
6. 3:05
   토큰당 비용이 아니라 작업당 비용을 보라 같은 품질의 작업 기준으로 보면 모델마다 토큰당 가격과 실제 작업 완료 비용이 크게 다르며, 단순한 단가 비교로는 모델의 경제성을 판단할 수 없다고 설명한다.
7. 4:30
   모델을 고르는 하네스 작업 결과에 따라 적절한 모델을 자동으로 선택하는 하네스를 통해, 주어진 작업에 가장 경제적인 모델을 쓰는 구조를 Kimchi가 구현했다.
8. 4:49
   3개월 만에 2.5배 절감 3개월 사용 결과 같은 산출물을 내면서도 실제 비용은 2.5배 절감되었고, 토큰 사용량은 오히려 늘었지만 코드 작성 비용은 내려갔다.
9. 5:54
   하네스가 모델을 바꾸는 과정 보기 시간이 지나면서 하네스가 선호하는 모델이 완전히 바뀐 사례를 보여주며, 사람은 쉽게 바꾸지 못해도 비용에 민감한 자동 시스템은 더 나은 모델로 자연스럽게 이동할 수 있다고 강조한다.
10. 7:23
    하네스의 동작 방식 하네스는 오픈소스 경험을 바탕으로 만든 자체 구조이며, 장시간 실행되는 작업을 위해 여러 구성 요소를 묶어 코딩 에이전트 실행을 관리한다.
11. 8:15
    Ferment: 여러 시간짜리 자율 작업 Ferment는 질문을 던지고 작업을 여러 마일스톤으로 쪼개며, 2시간 이상 돌아가는 코딩 작업을 자율적으로 수행하고 마지막에는 점수로 결과를 확인하게 한다.
12. 9:05
    빌드·검증·스테이징 배포 코드 변경 후 자동 빌드와 재시도를 거쳐 품질을 검증하고, 기준을 만족하면 스테이징까지 배포하며, 점수가 충분하지 않으면 다시 수정하게 만든다.
13. 11:03
    이제는 diff만 읽어서는 부족하다 에이전틱 개발이 늘수록 PR이 길고 복잡해져 단순한 변경점 확인만으로는 부족해졌고, 실제 의도와 명세까지 함께 봐야 리뷰가 가능해진다.
14. 11:48
    Kimchi Teleport 로컬 노트북을 닫아도 원격 샌드박스에서 세션이 계속 돌아가도록 해 주며, SaaS와 온프레미스 모두에서 안전하게 장시간 작업을 유지할 수 있다.
15. 14:02
    62%의 엔지니어가 이런 방식으로 코딩한다 원격 세션이 계속 유지되기 때문에 이동 중이거나 휴가 중에도 작업이 끊기지 않으며, 실제로 많은 엔지니어가 Teleport 중심으로 작업하는 방식으로 이동했다.
16. 14:23
    팀용 Kimchi Studio Studio는 개인용 Teleport를 팀 협업용으로 확장한 도구로, 진행 중인 세션과 리뷰 대기 작업을 시각화해 팀이 에이전틱 개발을 함께 검토하고 넘겨받을 수 있게 한다.
17. 17:04
    마무리 하네스는 대부분 오픈소스로 공개되어 있고, Studio와 Teleport는 간단한 설치로 사용할 수 있으니 부스를 방문해 직접 확인해 보라고 안내한다.

실무 인사이트

• 코딩 에이전트의 핵심 최적화 지표는 토큰 단가가 아니라 같은 품질의 작업을 끝내는 총비용이므로, 모델 선택 기준을 작업 단위로 바꾸는 것이 효과적이다.
• 장시간 자율 작업을 안정적으로 쓰려면 모델 선택뿐 아니라 빌드·검증·재시도·스테이징 배포까지 묶인 하네스가 필요하다.
• 팀 단위 도입에서는 개인용 CLI보다 세션 공유, 리뷰 상태 가시화, 원격 지속 실행 같은 협업 UX가 생산성에 더 직접적으로 영향을 준다.