Building uReview, Uber’s Multi-Agent Code Review Engine — Will Bond & Ameya Ketkar, Uber

한 줄 핵심

Uber는 수천 명의 엔지니어와 급증한 PR 리뷰 병목을 해결하기 위해, 팀별 규칙과 관측 가능성·평가·비용 최적화를 내장한 멀티 에이전트 코드 리뷰 시스템 U Review를 자체 구축했다.

시간별 요약

1. 0:00
   2024년엔 리뷰까지 3시간, 2026년엔 9시간 Uber의 수천 명 엔지니어와 수백 개 팀, 여러 언어별 monorepo 환경에서 PR 규모와 물량이 커지며 첫 리뷰까지 걸리는 시간이 3시간에서 9시간으로 늘어났다. 코드 리뷰가 개발 속도의 병목이 되었고, 자동화된 리뷰 시스템이 필요해졌다.
2. 1:53
   왜 구매가 아니라 직접 만들었는가 Fabricator와 GitHub를 모두 지원해야 했고, 에이전트와 사람이 같은 규칙과 경험을 공유해야 했으며, 팀별 소유권과 위험도에 따라 리뷰 강도를 다르게 적용해야 했다. 보안과 컴플라이언스까지 일관되게 강제하려면 외부 제품보다 내부 시스템이 더 적합했다.
3. 3:42
   아키텍처와 댓글 중복 제거 GitHub, Fabricator, agent loop에서 들어온 요청을 U Review service가 받아 여러 generator로 분기하고, 성능과 비용에 맞게 결과를 생성한다. 이후 후처리 단계에서 댓글을 평가·분류·필터링·중복 제거해, 엔지니어에게 실행 가능한 고신뢰 댓글만 전달한다.
4. 4:37
   소박한 시작과 비용만 보던 시절 초기 U review는 파일별 logic check를 하는 단일 prompt와 generator 선택용 dispatcher 수준이었고, 관측성도 cost와 NPS, Google Forms, Slack 지원 정도에 그쳤다. 그 결과 품질 대비 비용이 크게 흔들려 목표했던 효율 구간에 안정적으로 들어가지 못했다.
5. 5:33
   감정 분석, 반영률, 에이전트 궤적 개발자 반응의 긍정·부정 감정을 분류해 문제 유형을 찾고, 어떤 댓글이 실제로 반영되는지 addressal rate를 추적하며 시스템을 개선했다. 더 나아가 agent trajectory와 tool call, thinking process를 관찰해 런타임과 성능을 조정하고, 낮은 비용으로 높은 품질을 달성했다.
6. 6:32
   모델은 스스로 틀렸다고 알지 못한다 모델은 항상 자신감 있게 답하지만, 실제로는 팀별 style guide, 패턴, anti-pattern을 강하게 주입해야 원하는 리뷰가 나온다. 또한 코드 리뷰가 시간 제약이 있는 작업이므로, 불필요한 시도를 줄이도록 가드레일을 두어야 품질 저하를 막을 수 있다.
7. 7:26
   수백 개 팀에 맞춤 리뷰를 허용하기 기본적인 single-file·multi-file reviewer에 더해, AI linters와 커스텀 agent까지 제공해 팀별 규칙과 지식을 반영한 리뷰를 가능하게 했다. 이를 위해 ownership model에 맞춰 설정을 코드 가까이에 두고, 어떤 팀에 어떤 generator와 model을 보낼지 deterministic routing을 구현했으며, 관측 데이터를 팀에 다시 보여주었다.
8. 10:10
   주당 25,000개의 댓글이라는 결과 U Review는 주당 약 25,000개의 댓글을 생성하고, 그중 10%가 피드백을 받으며 PR의 4%만 부정적 피드백을 받는다. addressal rate는 67% 수준이고 고심각도 이슈의 거의 3/4이 반영되며, naive 구현 대비 비용은 60% 낮고 품질과 정확도는 70% 높아졌다.
9. 11:08
   내부 루프와 외부 루프 에이전트가 코드를 더 많이 작성하고 자동 승인 비중이 늘어나는 흐름 속에서, 리뷰 정확도는 더 중요해지고 낮은 품질의 댓글은 에이전트의 수정 반복을 유발할 수 있다. 인간 피드백이 시스템 튜닝의 핵심이었던 만큼, 사람을 완전히 제거하기보다 역할을 한 단계 위로 올리는 방향이 중요하다.
10. 13:57
    외부 루프를 없애지 말고 확장하기 엔지니어는 구현 디테일보다는 아키텍처, 도메인 전문성, 제품 사고에 더 집중하는 방향으로 이동하며, 에이전트는 작성과 1차 리뷰를 더 잘 수행하게 된다. 코드 리뷰는 사라지는 것이 아니라, 인간이 더 높은 수준에서 시스템을 이끄는 새로운 외부 루프로 확장된다.

실무 인사이트

• 대규모 조직의 코드 리뷰 자동화는 모델 성능보다 팀별 소유권·규칙 배포·관측성까지 포함한 운영 설계가 성패를 좌우한다.
• 댓글 생성량보다 실제 반영률과 고심각도 이슈 해결률을 핵심 지표로 두면, 리뷰 품질이 실무 가치로 연결되는지 판단하기 쉽다.
• 에이전트 도입 이후에도 인간 리뷰는 사라지지 않고, 아키텍처와 제품 판단을 맡는 상위 루프로 재정의하는 편이 현실적이다.