One Day, $1,000 in Tokens: An AI War Room for Legacy Code — Ford Prior, GEICO

한 줄 핵심

GEICO는 레거시 코드 현대화에서 인간이 병목이 되는 바깥 루프를 AI 워룸으로 재설계해, 하루 1,000달러 수준의 토큰으로도 대규모 도메인 분석과 실행 가능한 변경안을 만들어내는 방식을 실험했다.

시간별 요약

1. 0:00
   인너 루프와 아우터 루프 코딩과 빌드가 빨라진 인너 루프와 달리, 의사결정·협업·승인으로 이루어진 아우터 루프는 여전히 느려서 전체 전달 속도를 제한한다. GEICO는 위험 관리 조직이라는 특성상 이 바깥 루프를 바꾸지 않으면 AI의 효과가 제한된다고 본다.
2. 2:05
   GEICO의 Claims 기술 300명 규모의 claims tech 조직에서 Ford Prior는 SDLC 모범 사례를 도입하고 혁신 실험을 이끄는 역할을 맡는다. 최근에는 패치와 소규모 변경에 쓰이던 역량의 상당 부분을 AI 에이전트에 맡기고, 엔지니어는 경쟁우위를 만드는 대규모 작업에 집중하도록 재배치하고 있다.
3. 4:37
   AI 네이티브 워룸 대규모 변경에서 필요한 협업과 지능을 보완하기 위해, 관련 의사결정자와 도메인 전문가, 그리고 이를 조율하는 드라이버가 함께 일하는 멀티플레이어 AI 네이티브 워룸을 만들었다. 여기에 커뮤니케이션 채널, 인터랙티브 디자인 스튜디오, 코드 저장소를 연결하고 workflows, agent skills, MCPs, agent fleets로 분석·요약·검증을 자동화한다.
4. 5:23
   하루 1,000달러 실험 레거시 핵심 기능에 대해 agent-callable API를 하루 1,000달러의 토큰 예산으로 끝낼 수 있는지 검증했다. 수백만 줄의 코드와 깊은 도메인 컨텍스트를 한 번 구축해 재사용하면서, 하루 안에 한 도메인을 끝까지 맵핑하고 데모 가능한 변경안을 배포하는 것을 목표로 삼았다.
5. 6:33
   세 가지 현대화 미션 rentals, damages, salvage의 세 도메인에서 uplift, transform, reimagine 방식의 현대화를 각각 시험했다. rental에서는 기존 API를 확장해 월 8,500건의 호출을 절감했고, damages에서는 더 큰 워크플로를 여는 API를 추가했으며, salvage에서는 API 명세와 디자인 목업이 포함된 검증된 마이그레이션 계획까지 도출했다.
6. 8:29
   벤더가 제공하는 것과 GEICO가 제공하는 것 벤더는 harness, model, FleetKit, 코드 현대화 플러그인을 제공하지만, 실제 성과를 만드는 핵심은 GEICO가 가진 지식베이스, 소프트웨어 표준, 과거 의사결정 기록, 도구 접근 권한, 사용 지침, 그리고 승인 권한이다. 이런 내부 자산이 있어야 에이전트가 단순 실행이 아니라 조직의 맥락에 맞는 결정을 보조할 수 있다.
7. 9:47
   에이전트 함대 운영하기: FleetKit FleetKit은 markdown으로 작성된 규칙·프로토콜·지침 묶음으로, Claude harness와 Fable에 맞춰 아키텍처 변환 작업을 조율한다. 목표를 쪼개 리더 에이전트에게 조사와 접근 결정을 맡기고, 인간 승인 큐를 거친 뒤 빌더 에이전트를 배치해 최종적인 material change를 생성한다.
8. 11:55
   워룸 내부 실제 워룸에서는 미션 채널에 모든 관련자가 참여하고, 에이전트가 9단계 절차를 따르며 진행 상황마다 worksheet와 설계 문서를 생성한다. 코드 다이브용 클라우드 세션과 로컬 에이전트가 분리되어 동작하며, 인간은 질문에 답하고 다이어그램을 보완하고, 에이전트는 이를 다시 읽어 들여 맥락을 확장한다.
9. 15:58
   교훈과 다음 단계 토큰 비용이 예상보다 컸고, cron을 이용한 자동 점검은 예산을 빠르게 소모할 수 있어 주의가 필요했다. 다만 벤치마크에서는 Sonnet 5.5가 Fable만큼 또는 더 잘 코드를 작성했고, 앞으로는 게이트 강제, 더 나은 컨텍스트 검색, 오디오 입력의 자동 전사, 조직 전반 배포가 핵심 과제로 남는다.

실무 인사이트

• 레거시 현대화의 병목은 코드 작성보다 의사결정·검증·승인에 있으므로, AI 도입도 코드 생성보다 워크플로와 승인 구조를 먼저 바꾸는 편이 효과적이다.
• 에이전트 성능은 모델만으로 결정되지 않고, 내부 지식베이스·표준·도구 권한·승인 게이트 같은 조직 고유 자산을 얼마나 잘 구조화하느냐에 크게 좌우된다.
• 대규모 AI 활용에서는 토큰 절감보다도 어떤 작업을 인간 승인 큐에 남기고 어떤 작업을 자동화할지 경계를 설계하는 것이 운영 성패를 가른다.