사람이 못 찾은 버그, AI가 24시간 만에 | 세일즈포스는 엔지니어 1만 5천 명에게 Claude Code를 어떻게 풀었나

한 줄 핵심

세일즈포스는 Claude Code를 전사적으로 확산해 수십 년 된 코드를 몇 주 만에 바꾸고도 품질을 개선했으며, 그 핵심은 생산성을 코드량이 아니라 검증 가능한 유효 산출량으로 재고 일에 맞는 모델과 엄격한 증거 기준을 적용한 데 있다.

시간별 요약

0:00
사람이 못 찾은 버그, AI는 24시간 만에 사람이 오래 붙잡고도 못 찾은 버그를 AI가 24시간 동안 디버그와 수정을 반복해 원인과 수정안까지 찾아냈다. 이후 세일즈포스는 엔지니어 1만 5천 명에게 에이전트 코딩을 퍼뜨려 산출량은 두 배로 늘었지만 버그는 늘지 않고 품질이 좋아졌다고 본다.
0:46
수십 년 된 코드를 몇 주 만에 세일즈포스의 오래된 제품은 수십 년 쌓인 코드 위에 있어 API가 없는 기능도 많았고, 모든 앱을 API로 쓸 수 있게 만드는 일은 원래 6개월에서 1년짜리 작업이었다. 그런데 AI 에이전트로 페이지를 하나씩 파고들어 빠진 API를 찾아내며 몇 주에서 길어도 몇 달 만에 80~90% 수준의 API 커버리지를 달성했다.
1:43
생산성은 무엇으로 잴까 코드 줄 수는 생산성을 왜곡하므로, 세일즈포스는 스탠포드 연구진과 함께 주석이나 단순 수정은 낮게, 로직 변경과 새 기능은 높게 치는 '유효 산출량' 지표를 만들었다. 커밋마다 머신 러닝 모델이 시니어 엔지니어처럼 코드를 평가해 점수를 매기며, 이 점수가 두 배로 올라 실제 가치 기준의 생산성 향상을 확인하고 있다.
2:23
세일즈포스가 그린 지도: 9단계 성숙도 곡선 도구를 배포해도 많은 엔지니어가 단순한 작업에만 AI를 쓰자, 세일즈포스는 에이전트 코딩 성숙도 곡선을 만들어 활용 수준을 4개 레벨, 9단계로 나눴다. 레벨 1은 단순 지시, 레벨 3은 서브 에이전트로 일을 병렬 분해, 레벨 4는 테스트 실패를 자동으로 집어 고치고 리뷰와 머지까지 이어지는 자율 실행이며, 회사는 짧은 기간에 많은 엔지니어를 레벨 3·4로 끌어올렸다.
3:24
명령 대신 데모로 퍼뜨리기 대규모 확산은 지시보다 실제 데모와 제품 사례가 더 효과적이었고, 여러 사람이 자기 문제를 라이브로 해결하는 모습을 보여주며 도입을 밀어붙였다. 코드 이해 시간 단축, 장애 원인 추적 자동화, 팀 간 에이전트 호출 같은 사례가 사내 마켓플레이스의 스킬로 공유되었고, 스킬의 효과는 같은 작업을 전후 비교해 검증했다.
4:16
코드는 2배, 버그는? 코드 양이 거의 두 배로 늘었지만 코드당 버그는 줄었고, 공식 그래프에서도 PR은 늘어난 반면 전체 장애는 5% 감소했다. 그 배경에는 모든 티켓과 PR을 일관되게 라벨링해 만든 벤치마크와, 특히 기존 모델들이 계속 실패하던 작업만 모은 실패 세트가 있어 새 모델의 개선 여부를 정밀하게 판별한 점이 있다.
4:53
검증 없는 자율은 자신감 연극 에이전트에게 자율권을 주더라도 좋은 결과와 나쁜 결과의 기준을 먼저 정하지 않으면, 그건 자신감만 있어 보이는 연극에 불과하다. 그래서 작업을 맡길 때는 기존 스키마를 건드렸는지, 다른 것을 망가뜨리지 않았는지 같은 기준을 먼저 세우고, 에이전트가 스스로 판단했다고 믿지 말고 증거를 표로 제시하게 만든다.
5:21
다시 그 버그로: 일에 맞는 모델 가장 큰 실수는 일에 맞지 않는 무거운 모델을 평범한 작업에까지 쓰는 것이었고, 일상적인 일은 가벼운 모델, 어려운 문제는 강력한 모델로 나눠 써야 한다. 24시간짜리 버그처럼 길고 복잡한 문제에는 큰 모델이 맞지만, 금융에 영향을 줄 수 있는 소프트웨어에서는 찾기보다 검증이 더 중요하므로 처음 계획과 증거 확인이 결과를 좌우한다.
6:09
마무리: 여러분은 몇 단계인가요? 세일즈포스는 AI로 밀린 일 목록을 빠르게 줄이면서, 혁신은 위에서만 밀어붙여서는 안 되고 현장에서도 움직여야 한다는 메시지를 남긴다. 핵심은 더 큰 일을 AI에 맡기되 결과에 대한 증거를 요구하고, 조직 전체가 에이전트 중심의 일 방식으로 이동하는 것이다.

실무 인사이트

AI 도입의 성패는 도구 배포 자체보다, 생산성을 측정하는 기준을 코드량에서 유효 산출량과 검증 가능성으로 바꾸는 데서 갈린다.
전사 확산은 교육 자료보다 실제 데모와 성공 사례가 더 강력하며, 특히 현업 문제를 즉시 줄이는 사례가 조직 전파에 가장 효과적이다.
에이전트에게 자율을 주려면 먼저 실패 조건과 증거 요구 방식을 정해야 하며, 검증 체계가 없으면 자동화는 오히려 위험을 키운다.