How VS Code Went from Monthly to Weekly Releases with AI — Harald Kirschner

한 줄 핵심

VS Code가 AI를 활용해 월간 릴리스에서 주간 릴리스로 전환한 과정은, 단순히 코드를 더 빨리 쓰는 문제가 아니라 코드베이스·리뷰·테스트·배포·평가 시스템 전체를 에이전트 친화적으로 바꾼 결과다.

시간별 요약

1. 0:00
   도입 이 영상은 VS Code가 AI를 도입해 릴리스 속도와 품질을 함께 끌어올린 과정에서 무엇을 배웠는지 다룬다. 핵심은 에이전트를 제품에 넣는 이야기가 아니라, 에이전트를 써서 제품을 만드는 방식 자체를 바꾼 사례다.
2. 0:12
   월간 릴리스에서 주간 릴리스로 AI 덕분에 VS Code는 월간 릴리스에서 주간 릴리스로 이동했다. 그러나 목적은 단순한 속도 향상이 아니라, 더 효과적으로 출시하고 더 좋은 방식으로 제품을 만드는 데 있었다.
3. 1:12
   코드 생존율: 55% → 86% 에이전트가 작성한 코드 중 실제로 커밋되는 비율인 코드 생존율을 추적했고, 55%에서 86%까지 올라갔다. 모델과 하네스가 개선될수록 개발자의 신뢰가 높아지고 AI 생성 코드의 실사용 비중도 커졌다.
4. 1:57
   성공이 새 문제를 만든다 AI 도입은 이슈와 PR의 수를 크게 늘렸고, 품질 이슈와 저품질 이슈가 동시에 증가했다. 동시에 커뮤니티 머지 PR도 늘어나면서 기여를 더 많이 끌어내는 효과도 나타났다.
5. 2:42
   10년간의 월간 릴리스 VS Code는 1.0 출시 이후 10년 넘게 매달 새 버전을 배포해 왔다. 이 긴 주기가 이제는 AI 시대의 더 빠른 실행 방식에 맞게 바뀌었다.
6. 3:07
   AI 사용만이 아니라 시스템을 진화시킨다 문제는 일상 업무에서 AI를 더 많이 쓰는 것이 아니라, 소프트웨어를 배포하는 전체 시스템을 AI에 맞게 바꾸는 데 있다. 그래야 단순히 코드만 많이 생성하는 것이 아니라 실제로 더 나은 결과를 만들 수 있다.
7. 3:42
   더 빨리, 더 높은 품질로, 더 빨리 학습하기 먼저 필요한 것은 코드를 더 빨리 내보내는 능력이고, 그다음은 리뷰와 품질 유지이며, 마지막은 무엇을 배워야 할지 더 빨리 판단하는 능력이다. 속도만 높이면 끝이 아니라 제품 감각과 학습 속도까지 함께 높여야 한다.
8. 4:52
   코드베이스를 에이전트 친화적으로 만들기 에이전트가 코드베이스를 잘 이해하도록 가볍고 지속적으로 갱신되는 문서가 필요하다. 특히 agents.mmd 같은 가이드는 에이전트가 어디를 봐야 하는지 알려 주고, 실수에 맞춰 계속 진화해야 한다.
9. 5:46
   전문성을 스킬로 인코딩하기 접근성 같은 전문 지식을 스킬로 묶으면, 소수 전문가만 알고 있던 규칙을 모두가 재사용할 수 있다. 이렇게 하면 반복적으로 사람을 불러야 하던 작업을 구조화된 지식으로 바꿀 수 있다.
10. 6:26
    검증 기준: PM도 이 레포에서 바이브 코딩이 가능한가 품질이 충분히 올라가면 PM도 VS Code 레포에서 실질적으로 바이브 코딩을 할 수 있어야 한다. 핵심 판단 기준은 그 작업이 엔지니어링 팀의 추가 부담을 얼마나 만들지, 그리고 로컬과 배포 환경에서 얼마나 안정적으로 동작하는가이다.
11. 7:01
    TypeScript Go로 빌드 속도 10배 향상 TypeScript Go 도입으로 빌드가 10배 빨라졌고, 이는 에이전트가 여러 개 동시에 PR을 돌릴 때 특히 큰 효과를 냈다. 느린 CI/CD는 에이전트 수가 늘수록 병목이 증폭되므로, 빌드 속도 개선은 자동화의 전제 조건이다.
12. 7:56
    투박한 PR을 다듬어진 기능으로 처음에는 거친 PR이라도 아이디어와 방향을 빠르게 공유하는 역할을 할 수 있다. 이후 팀이 그 기반 위에서 함께 다듬으면, 몇 주 안에 완성도 높은 기능 경험으로 발전시킬 수 있다.
13. 8:31
    에이전트가 앱을 직접 사용하게 하기 UI 작업에서 가장 중요한 것은 에이전트가 제품을 실제로 조작하며 피드백을 얻을 수 있어야 한다는 점이다. 앱을 직접 사용할 수 없으면, UI 검증은 매번 사람 손에 의존하게 된다.
14. 9:06
    자동화된 컴포넌트 스크린샷 컴포넌트 브라우저는 변경이 생길 때마다 스크린샷을 찍어 예상치 못한 영향 범위를 보여 준다. 한 컴포넌트를 고쳤는데 다른 아이콘이 사라지거나 레이아웃이 밀리는 문제를 빠르게 잡아낼 수 있다.
15. 10:06
    Playwright를 활용한 자기 수정 루프 Playwright로 VS Code의 실제 흐름을 자동 실행해 문제를 진단하고 수정 전후를 검증할 수 있다. 사람은 다음 작업으로 넘어가고, 에이전트가 실행 결과를 확인해 주는 짧은 피드백 루프가 만들어진다.
16. 11:20
    의무화된 AI 코드 리뷰 PR이 열리면 AI 리뷰가 먼저 수행되고, 인간은 그 결과를 바탕으로 검토하게 된다. 리스크 수준에 따라 리뷰 강도를 조절해 비용과 품질을 함께 관리하는 구조다.
17. 12:05
    품질 유지를 위한 AI 이슈 분류 이슈는 AI가 스팸 제거, 번역, 정보 보강, 담당자 지정까지 처리해 신호 대 잡음비를 높인다. 다만 중복 이슈 수정 같은 영역에서는 사람이 다시 피드백을 주는 보완 루프가 필요하다.
18. 13:25
    에러 스택에서 자동 수정 PR까지 대규모 텔레메트리에서 실제 에러 스택만 추려 군집화한 뒤, 이슈를 만들고 자동으로 PR까지 여는 흐름을 구축했다. 결과적으로 사람은 오류를 직접 일일이 다루기보다 안정적인 코드베이스를 유지하는 데 집중할 수 있다.
19. 15:24
    단계적 롤아웃 예전처럼 한 번에 100% 배포하는 방식 대신, 단계적으로 롤아웃하며 에러 로그와 이슈를 모니터링한다. 설치형 앱은 롤백 비용이 크기 때문에, 배포 자체를 더 신중하게 설계해야 한다.
20. 15:59
    VSC-Bench로 더 빠르게 학습하기 VSC-Bench를 통해 제품에 특화된 평가를 쉽게 추가하고, 오프라인과 온라인 실험으로 개선 여부를 확인한다. 에이전트형 제품일수록 평가 체계가 제품의 일부처럼 작동해야 한다.
21. 17:04
    5글자 파일에 토큰 70배 아주 단순한 hello world 파일 작성 테스트에서도 모델마다 토큰 사용량 차이가 크게 벌어졌다. 하네스와 모델의 상호작용을 이해하는 일은 성능 자체만큼이나 중요하다.
22. 17:39
    일일 스프린트에서 프로토타이핑 대부분의 작업은 바로 PR로 넣기보다 빠른 대화와 프로토타입 반복에 더 적합하다. 일 단위 스프린트는 아이디어를 더 빨리 시험하고 경험 설계를 더 깊게 논의하게 만든다.
23. 18:19
    작은 스쿼드와 지속적 오너십 작은 스쿼드와 명확한 오너십이 있어야 병목을 빠르게 찾고 필요한 영역에 집중할 수 있다. 업무 단위를 작게 나누면 속도와 책임성이 함께 올라간다.
24. 18:39
    다음 병목을 찾아라 한 번 개선에 성공했다고 끝나는 것이 아니라, 더 빨리 배우고 더 높은 품질로 내기 위해 다음 병목을 계속 찾아야 한다. 에이전트 활용의 핵심은 도구 자체보다 피드백 루프를 얼마나 잘 설계하느냐에 있다.

실무 인사이트

• 에이전트 도입의 성패는 모델 성능보다 코드베이스 문서화, 빌드 속도, 리뷰 절차, 롤아웃 방식 같은 주변 시스템에 더 크게 좌우된다.
• AI가 만든 코드의 품질은 생존율, 이슈 신호 대 잡음비, 자동 수정 성공률처럼 운영 지표로 관리해야 실제 생산성 향상으로 연결된다.
• 빠르게 만드는 것보다 더 중요한 것은 에이전트가 직접 실행·검증·수정할 수 있는 짧은 피드백 루프를 제품과 개발 흐름 안에 넣는 것이다.