60% of Our Data PRs Now Merge With No Human Review - Chetas Joshi, Robinhood

한 줄 핵심

Robinhood은 데이터 파이프라인 PR을 위해 스크립트는 사실 검증을, AI 에이전트는 맥락 기반 판단을, 사람은 최종 책임이 필요한 결정을 맡는 하이브리드 리뷰 체계를 만들어 인간 검토 없이도 약 60%의 PR을 병합하고 있다.

시간별 요약

1. 0:00
   문제 정의: CI는 통과해도 안전하다고 단정할 수 없다 데이터 파이프라인 PR은 CI가 초록색이어도 다운스트림 파손, SLA 위반, 민감정보 노출을 일으킬 수 있어 단순한 테스트 통과만으로는 안전성을 보장할 수 없다. PR 생성 속도는 기계 수준으로 빨라졌지만, 안전하게 병합할 수 있는 맥락을 가진 사람은 늘지 않아 검토 병목이 생긴다.
2. 4:00
   하이브리드 구조: 스크립트는 사실, 에이전트는 판단 리뷰 체계는 3개 역할로 나뉜다. 스크립트는 schema registry, catalog, lineage, 성능 테스트처럼 소스 오브 트루스로 증명 가능한 사실을 검사하고, 에이전트는 코드와 diff를 읽으며 등록되지 않은 소비자나 위험한 패턴을 찾고, 사람은 민감 데이터 접근이나 의미가 바뀌는 변경처럼 보호된 결정을 맡는다.
3. 10:01
   사례: 등록되지 않은 다운스트림 소비자를 찾아낸 리뷰 예시 PR은 새 컬럼 추가와 integer를 big integer로 넓히는 변경이었고, 스크립트는 등록된 lineage 기준으로는 모두 안전하다고 판단했다. 그러나 에이전트가 저장소 코드를 추적해 lineage에 등록되지 않은 소비자를 찾아냈고, 그 소비자가 여전히 integer를 기대해 실제 실패 가능성을 드러냈다.
4. 17:00
   피드백 학습: 에이전트가 모르는 맥락을 규칙으로 축적 에이전트의 승인과 인간의 반박, 그리고 그 이유를 축적해 매주 수동으로 규칙을 갱신하면서 리뷰 품질을 개선한다. 암호화 이후에는 PII 라벨을 바꿔도 되는 경우나, 반대로 retag 시 기존 open copy를 읽는 소비자를 다시 찾아야 하는 경우처럼, 맥락 의존적 예외를 규칙으로 구체화한다.
5. 23:01
   성과와 한계: 비용을 줄이되 책임은 유지한다 이 체계는 약 60%의 데이터 PR을 사람 검토 없이 병합하고, 수동 검토를 약 75% 줄이며, 월 약 132시간을 절감했고, 관련 incident도 약 30% 감소했다. 다만 라이브 시스템 사실을 에이전트가 직접 조회할 수 없고 두 레이어가 독립적으로 돌기 때문에, 최종 책임이 필요한 경우에는 여전히 사람이 개입해야 한다.

실무 인사이트

• 검토 자동화의 핵심은 AI가 모든 것을 판단하게 하는 것이 아니라, 소스 오브 트루스로 증명 가능한 사실은 규칙·스크립트로 빼고 애매한 판단만 AI와 사람에게 남기는 것이다.
• 에이전트의 가치는 정답을 말하는 데보다, 사람이 놓치기 쉬운 비등록 소비자·권한 변화·의미 변경 같은 숨은 위험을 빠르게 좁혀 주는 데 있다.
• 운영 성과를 보려면 miss rate뿐 아니라 false escalation도 함께 측정해야 하며, 그래야 자동화가 실제로 리뷰 비용을 줄였는지 판단할 수 있다.