앤트로픽 Claude Code 팀이 공개한 AI 코드 리뷰 7겹 — PR은 2배 늘리고 되돌림은 40% 줄인 방법

한 줄 핵심

Anthropic Claude Code 팀은 코드 리뷰를 사람의 일에서 기계 중심의 다층 검증으로 바꿔 PR 처리량은 2배 이상 늘리면서 되돌림 비율은 40% 이상 낮췄다.

시간별 요약

0:00
오프닝 — 하루 3만 건, 되돌림 비율 40% 감소 모노레포의 변경량이 급증해 사람이 모든 PR을 직접 읽는 방식은 한계에 도달했고, 읽기 대부분을 기계에 맡기면서 사람은 위험한 지점과 되돌림 대응에 집중하는 구조로 바뀌었다. 이 방식으로 PR 수는 두 배 이상 늘었지만 되돌림 비율은 오히려 크게 줄었다.
0:47
질문 바꾸기 — 사람이 읽었나 대신 무엇이 잘못될 수 있나 핵심 질문을 '사람이 읽었나'에서 '무엇이 잘못될 수 있나'로 바꾸면서, 리뷰를 끝에서 하는 관문이 아니라 작성 중 계속 도는 검사로 재정의했다. 목표는 사람의 리뷰 시간을 줄이는 동시에 장애와 되돌림을 늘리지 않는 것이며, 그 기준이 가드레일이 된다.
1:30
일곱 겹과 첫 번째 겹, PR 전 검증 변경은 PR 전 검증부터 머지 후 되돌리기까지 일곱 겹의 방어선을 통과하도록 설계된다. 첫 단계에서는 테스트, 빌드, 스크린샷 비교 같은 실행 가능한 증거를 주고, Claude가 스스로 검증하게 만든 뒤 반복되는 지적은 스킬, 린트 규칙, Claude.md, Review.md 같은 지시 파일 수정으로 근원을 고친다.
2:41
필수 자동 검사와 AI 리뷰 — 지적을 걸러내는 투표 린트, 타입 검사, 플랫폼 테스트, 빌드 같은 자동 검사가 대량으로 돌아가고, 그 다음에 모든 PR에 AI 리뷰가 붙어 저장소 전체 맥락과 의도에 비춰 문제를 찾는다. 여러 에이전트의 지적을 다시 투표로 거르고, 중요하지 않은 스타일 지적은 제외해 노이즈를 줄인 뒤에도 밤새 반복 수정이 과도하게 쌓이는 문제가 드러났다.
3:47
반전 — 밤새 50라운드, 끝나지 않는 리뷰 작성도 리뷰도 모두 에이전트가 맡으면 같은 지적이 반복되면서 리뷰가 끝없이 길어질 수 있고, 실제로 한 PR은 밤새 50라운드 이상 돌았다. 이를 줄이기 위해 라운드 상한을 두고, 이후에는 새로 바뀐 부분만 보며, 지적을 유형 단위로 묶고, 이미 올린 지적을 반복하지 않는 방식으로 평균 리뷰 횟수와 다중 라운드 비율을 크게 낮췄다.
5:13
보안 리뷰와 위험도별 사람 승인 보안 지적이나 열린 버그가 남아 있으면 머지가 막히며, 위험도에 따라 사람 승인 요구 수준이 달라진다. 낮은 위험은 자동으로 통과 가능하지만, 중간과 높은 위험은 한 명 또는 두 명의 사람 승인이 필요하고, 승인 책임은 변경 자체에 따라 정해지며 에이전트 승인은 사람 승인으로 대체되지 않는다.
6:23
머지 큐, 단계적 배포, 빠른 되돌리기 각 PR이 따로는 통과해도 함께 머지되면 깨질 수 있으므로, 머지 큐에서 최신 메인 기준으로 다시 검증해 조합 오류를 막는다. 이후에는 플래그, 내부 선배포, 단계적 공개, 빠른 되돌리기를 통해 문제를 빨리 발견하고 더 빨리 복구하는 쪽을 택한다.
7:17
사람이 남는 곳 사람은 만들지 말지 결정, 위험한 코드 리뷰, 설계 패턴 판단, 실행 증거 확인, 최종 책임처럼 고수준 판단이 필요한 지점에 남는다. 또한 기계가 읽기 어려운 맥락은 짧은 설명서나 문서로 보완해, 반복 학습이 아니라 필요한 부분만 빠르게 이해하게 만든다.
8:20
내 팀에 옮기는 순서와 마무리 도입 순서는 짧은 Claude.md와 Review.md 정리, 로컬 검증 명령 정리, PR 템플릿 강화, AI 리뷰어의 소규모 도입과 라운드 상한 설정, 위험도 기반 승인 체계 적용, 머지 후 플래그·단계적 배포·되돌리기까지 이어진다. 핵심은 사람이 더 열심히 읽는 것이 아니라, 같은 실수가 다음에는 자동으로 걸리게 검사를 설계하는 것이다.

실무 인사이트

AI 코드 리뷰의 성패는 모델 성능보다도 '어떤 지적을 남기고 어떤 지적을 버릴지'를 정하는 필터링 설계에 달려 있다.
리뷰 효율을 높이려면 PR 단계만 강화하는 것이 아니라, 리뷰 코멘트가 반복될 때 이를 문서·규칙·검사로 흡수해 근본 원인을 줄여야 한다.
사람의 역할을 없애는 것이 아니라 승인, 고위험 판단, 장애 원인 분석처럼 실패 비용이 큰 지점에만 집중시키는 구조가 가장 실용적이다.