How Software Factories Improve Themselves — Suraj Gupta, Warp

한 줄 핵심

소프트웨어 팩토리는 스킬·기억·모델 라우팅을 외부 루프와 평가 체계로 계속 갱신할 때 스스로 더 빠르고 저렴하게 개선될 수 있으며, 그 변화는 사람 검토와 추적 가능성 위에서 안전하게 운영돼야 한다.

시간별 요약

1. 0:00
   소개 Warp는 에이전틱 개발 환경과 클라우드 에이전트 플랫폼을 기반으로 소프트웨어 팩토리를 만들고 있으며, 이번 발표는 실제로 구현 가능한 자기개선 방식에 초점을 맞춘다.
2. 0:50
   자기개선 소프트웨어 팩토리 자기개선은 에이전트가 시간이 지나며 더 좋아지는 능력이고, 소프트웨어 팩토리는 트리아지부터 프로덕션까지 일을 자동으로 넘기는 구조다. 핵심은 팩토리 자체가 시간이 지나며 더 효율적이고 빠르게 개선되는 방법이다.
3. 1:50
   팩토리가 개선되는 세 가지 방식 팩토리가 스스로 좋아지는 방법으로 스킬, 지속 기억, 모델 라우팅의 세 가지를 제시한다. 이후 각 방식이 실제 운영에서 어떻게 성능과 비용을 바꾸는지 설명한다.
4. 2:05
   스킬과 외부 루프 에이전트 스킬은 에이전트에게 절차적 기억을 주는 방법이며, 반복되는 작업 절차를 명시해 둔다. 하지만 스킬은 시간이 지나면 낡기 때문에, 외부 루프 에이전트가 내부 루프 에이전트의 실행 결과와 피드백을 보고 스킬을 갱신해야 한다.
5. 3:15
   Warp의 트리아지 스킬 데모 GitHub issue가 들어오면 트리아지 에이전트가 누락된 정보나 중복 여부를 판단해 분류 작업을 수행한다. 이 작업은 간단한 워크플로로 자동 실행되며, 실제 운영 중인 스킬 기반 트리아지 사례로 제시된다.
6. 4:15
   외부 루프 에이전트 외부 루프 에이전트는 트리아지 에이전트의 결정과 결과를 관찰하고, thumbs up/down, 댓글, Warp 구성원의 피드백을 수집해 스킬을 더 나은 방향으로 합성한다. 이 방식으로 내부 루프 스킬이 지속적으로 개선된다.
7. 5:00
   스킬 업데이트는 pull request로 진행 스킬 변경은 pull request로 올려 Git을 통해 추적되므로, 시간이 지나며 스킬이 어떻게 변했는지 완전한 가시성을 확보할 수 있다. 또한 사람이 검토에 참여해 외부 루프 에이전트가 실수를 만들어 성능을 떨어뜨리는 일을 막는다.
8. 5:35
   지속 기억 스킬이 절차를 기억한다면, 지속 기억은 그 밖의 사실과 학습 결과를 저장해 두는 장치다. 이전에 해결한 이슈의 원인과 결론을 재사용하면 같은 맥락을 다시 모으는 토큰 낭비를 줄이고 미래 실행을 더 정확하게 만든다.
9. 6:35
   Sentry 에이전트의 기억 데모 에이전트별 memory store에는 과거 root cause analysis에서 얻은 사실이 축적되며, 사람도 추가·수정·삭제할 수 있다. 새 이슈를 처리할 때 에이전트는 이 기억을 참조해 작업을 빠르게 끝내고, 실제로 어떤 기억을 사용했는지도 보고한다.
10. 8:15
    하네스 간 기억 공유 Oz에서는 Warp Zone, proprietary harness, plot code, Kodak 등 어떤 하네스에서든 지속 기억이 자동으로 생성된다. 동시에 모든 기억은 추적 가능하고, 사람이 검토·버전관리·삭제·수정할 수 있다.
11. 8:45
    모델 라우팅 트리아지나 단순 CI 수정 같은 작업에 항상 Opus를 쓰면 비용이 과도하게 커지므로, 작업별로 적절한 모델을 고르는 일이 중요하다. Warp는 기본 제공 라우터인 auto models로 새로운 모델들을 지속 평가하며 비용 대비 성능을 최적화한다.
12. 9:40
    자동 모델 새 사용자는 특정 모델에 고정하지 않고 Warp의 auto models를 바로 사용할 수 있다. 이는 모델 선택을 미리 결정하지 않아도 되게 해 주며, 상황에 따라 더 나은 기본 선택을 제공한다.
13. 9:50
    맞춤 라우팅 규칙 데모 사용자는 설정 파일로 라우팅 규칙을 직접 정의해 데이터베이스 마이그레이션은 GLM fire, runbooks와 API 문서는 Quen 같은 식으로 태스크 클래스를 모델에 매핑할 수 있다. 다만 이런 규칙은 아직 경험적 성격이 강하다.
14. 10:50
    다음 단계: 라우팅 평가 앞으로는 고객 워크플로에 맞는 eval을 정의해 어떤 모델이 특정 태스크에서 더 나은지 체계적으로 검증하게 된다. 일반 벤치마크가 아니라 실제 사용자가 중요하게 여기는 기준으로 라우팅 품질을 측정하는 것이 목표다.
15. 11:40
    Warp 내부의 라우팅 방식 Warp는 모델 라우팅 규칙과 별도의 eval sidecar를 두고, prompt가 들어오면 여러 모델을 병렬로 시험하는 best-at-k 방식으로 적합한 모델을 찾는다. 그 결과 UI 작업에는 GLM이 더 효율적이라는 식의 판단을 내려 비용을 줄이고, 이 기능을 고객용 제품으로 확장할 계획이다.
16. 12:25
    마무리 핵심 메시지는 소프트웨어 팩토리가 스킬, 기억, 라우팅을 외부 루프와 평가로 계속 개선해야 실제로 더 강해진다는 것이다. 이런 도구와 운영 원리를 직접 이야기하고 싶다면 Warp 부스로 오라는 안내로 끝난다.

실무 인사이트

• 스킬 갱신, 기억 축적, 모델 선택을 모두 자동화해도 최종 반영은 pull request와 사람 검토를 거치게 하면 안전성과 개선 속도를 함께 잡을 수 있다.
• 에이전트의 재사용 가능 지식은 스킬과 memory store로 분리해 관리하면, 절차와 사실을 각각 더 쉽게 업데이트하고 추적할 수 있다.
• 모델 라우팅은 고정 정책보다 실제 워크플로 기반 eval로 운영해야 비용 절감 효과를 검증하고 태스크별 최적 모델을 지속적으로 바꿀 수 있다.