How Anthropic Merges 30,000 Code Changes a Day - Manish Kapur, Sonar & Addy Osmani, Anthropic

한 줄 핵심

AI 코딩 자체는 이미 해결됐지만, 진짜 병목은 신뢰할 수 있는 검증이며 이를 다층적으로 자동화한 팀만이 빠르게 안전하게 배포할 수 있다.

시간별 요약

0:00
소개 코딩 에이전트가 생성한 변경을 얼마나 수동 검토 없이 병합할 수 있는지가 핵심 문제로 제시된다. Anthropic에서는 Claude Code를 중심으로 개발자 경험을 개선하고, 하루에도 여러 번 제품을 출시하는 흐름에 맞춰 품질과 속도를 함께 높이려 한다.
1:57
처리량은 늘었지만 병합은 실패한다 CI 처리량은 크게 증가했지만 프로덕션으로의 병합 실패율도 여전히 높아, 더 많은 코드가 더 빠르게 생성될수록 검증 부담이 커지고 있다. 소프트웨어 팩토리는 루프를 대규모로 굴리는 방식이며, 이 간극을 메우는 것이 다음 과제로 제시된다.
2:49
밝은 팩토리와 어두운 팩토리 밝은 팩토리는 사람이 계획·구현·검증·출시에 계속 개입하면서 판단과 취향을 유지하는 형태다. 어두운 팩토리는 예외 상황만 사람이 개입하고 나머지는 자동화된 채로 굴러가며, 많은 팀이 이 스펙트럼 위에서 신뢰 가능한 자동화 수준을 높여 가는 중이다.
3:51
코딩은 해결됐지만 신뢰는 아니다 AI가 코드를 빠르게 생성하는 문제는 사실상 해결됐지만, 생성 속도를 사람이 따라가며 검증하기 어려운 것이 새로운 병목이다. 좋은 테스트, 벤치마크, 스펙처럼 결과에 대한 확신을 주는 장치를 에이전트가 더 쉽게 만들 수 있어야 품질이 올라간다.
5:38
Anthropic의 하루 30,000개 변경 검토 방식 Anthropic은 먼저 Claude가 1차 리뷰를 수행하고, 실제 사용자처럼 브라우저에서 경험을 열어보거나 도구를 실행하는 방식으로 검증한다. 문제가 발견되면 hooks가 변경 내용을 추적해 수정 루프를 빠르게 돌리고, 팀은 Claude.md나 agents.md에 축적한 기준을 바탕으로 에이전트의 증거를 확인한다.
8:29
State of Code 조사 결과 조사에 따르면 AI 기능은 배포 속도를 높이지만 PR은 더 크고 복잡해지고 있으며, 생산 환경에 들어가는 코드의 상당수는 여전히 리뷰를 거친다. 특히 규제 산업이나 미션 크리티컬 환경에서는 리뷰를 생략할 수 없고, 검증 역량이 경쟁력의 핵심이 된다.
9:20
다음 성과는 어디서 오는가 다음 성과는 모델 품질 향상과 더불어 검증을 실제로 어떻게 정의하고 구현하느냐에서 나온다. end-to-end 테스트, property tests, 시각적 검증처럼 병합에 대한 확신을 주는 테스트를 표준화해야 자동 병합의 신뢰도가 높아진다.
11:38
다층 검증 검증은 단일 단계가 아니라 서로 다른 유형의 결함을 잡는 여러 층으로 구성돼야 한다. 결정적 검사는 SQL injection 같은 보안·기술적 버그를 잡고, 에이전트 리뷰는 논리·의도 문제를 찾으며, 세 번째 층은 CVE와 악성 패키지 같은 공급망 보안을 다룬다.
13:19
통제, 권한, 샌드박스 에이전트 수가 급증하면 무엇을 하고 있는지 추적할 수 있는 제어와 텔레메트리가 필수다. 기업이 가장 걱정하는 지점은 agent identity, 권한 관리, 그리고 에이전트가 샌드박스를 벗어나지 않도록 막는 경계 설정이다.
14:41
라이트닝 라운드 대부분의 팀은 2027년까지도 완전한 다크 팩토리보다는 밝은 팩토리에 가까울 가능성이 높고, 에이전트가 쓴 코드는 당분간 PR에 표시하는 편이 바람직하다. 또한 리더는 검증의 정의를 명확히 하고, 주니어는 end-to-end test와 property test 같은 검증 기법을 익혀야 하며, 병합은 실패 가능성을 충분히 낮췄을 때만 안전하다.
17:40
핵심 정리 코드를 빨리 쓰는 것은 이미 해결됐고, 빠르게 배포하려면 강한 리뷰와 검증이 필수다. 자율성은 처음부터 주어지는 것이 아니라 각 루프 안에 독립적인 자동 검증을 넣고 신뢰를 쌓아야 얻어진다.

실무 인사이트

코드 생성 속도보다 중요한 것은 병합 전 검증 체계를 얼마나 촘촘하게 자동화했는지이며, end-to-end·property·시각 검증을 표준 조합으로 두는 것이 실무적으로 유효하다.
에이전트를 늘리는 전략은 권한과 샌드박스를 함께 설계하지 않으면 곧 운영 리스크가 되므로, 감사 가능성과 추적 가능성을 기본값으로 두는 편이 안전하다.
팀 차원에서는 Claude.md나 agents.md처럼 검증 기준과 취향을 명문화해 에이전트가 참고할 수 있게 만드는 것이 자동화 품질을 빠르게 끌어올린다.