ReviewDebt: a practical framework for scoring every pull request — Sachin Gupta, Ebay

한 줄 핵심

코딩 에이전트가 만든 PR은 속도를 높이지만 리뷰되지 않은 코드의 누적 비용인 ‘review debt’를 키우므로, PR마다 결정론적 신호로 점수화해 리뷰 부담을 측정하고 관리해야 한다는 주장이다.

시간별 요약

1. 0:00
   코딩 에이전트는 개발 속도를 올리지만, 인간이 같은 속도로 검토하지 못해 보이지 않는 리뷰 부채를 만든다. 커밋 증가는 리뷰 코멘트 감소와 함께 나타나며, PR 크기 증가와 무리한 머지 속도는 신뢰의 속도가 아니라 생산의 속도만 보여준다.
2. 4:01
   리뷰 부채는 피로, 야간 머지, 테스트 형식주의, 아키텍처 드리프트, 인시던트 지연으로 드러난다. 정의상 이는 에이전트가 생성한 코드와 인간이 실제로 검토·신뢰·이해한 코드 사이의 누적 격차이며, 인간 주의력으로 이자를 치르는 부채로 다뤄야 한다.
3. 6:00
   측정은 LLM 판정이 아니라 PR과 저장소만으로 계산 가능한 결정론적 신호 5가지를 사용한다. 변경 크기·결합도, 테스트 증거 격차, 디렉터리·소유권 확산, AI 저자 신호, 근거·이유 격차를 합쳐 0~100점의 리뷰 부담 점수로 만든다.
4. 13:01
   점수는 단순히 경고하는 도구가 아니라 리뷰 대화를 바꾸는 도구다. 0점대의 건강한 PR은 거의 노이즈가 없고, 고점 PR은 필요한 근거와 다음 행동을 구조화해 보여주며, 공개 저장소 524개 PR 분석에서도 부담은 저자보다 변경의 구조와 규모에 더 크게 좌우된다.
5. 20:00
   대응책은 복잡하지 않다. 하나의 논리적 변경만 넣고, 테스트는 함께 실어 검증하며, 한 소유자 영역에 머물고, PR 본문에는 사람이 왜를 쓰며, AI PR에도 동일한 리뷰 기준을 적용해야 한다. 도입은 과거 PR 백필, 임계값 설정, PR 댓글 표면화, 팀 단위 주간 집계, 정기 회고로 진행해야 한다.

실무 인사이트

• AI 도입 효과를 PR 개수나 cycle time만으로 보면 과대평가되기 쉬우므로, 리뷰 부담 점수를 함께 추적해야 실제 조직 비용이 보인다.
• 고위험 PR은 모델이 아니라 PR의 구조가 만든다는 점이 핵심이므로, 큰 변경을 쪼개고 테스트·근거·소유권을 명시하는 습관이 가장 큰 예방책이다.
• 팀 운영에서는 점수의 절대값보다 주간 추세를 보는 것이 중요하며, 이를 회고와 계획 회의에 넣어야 리뷰 품질 하락을 조기에 감지할 수 있다.