[한글자막] Anthropic은 하루 코드 변경 3만 건을 어떻게 병합할까요? | Addy Osmani
한 줄 핵심
AI 코딩 시대에는 코드를 빨리 쓰는 것보다 각 루프에 독립적이고 다층적인 검증을 넣어 안전하게 병합하는 체계를 만드는 것이 핵심이다.
시간별 요약
-
0:00
하루 코드 변경 3만 건, 누가 검증할까요? 코드 생성량은 폭증했지만, 그 결과를 신뢰할 수 있게 검증하는 체계가 없으면 병합 속도는 오히려 병목이 된다.
-
0:20
코드는 늘었는데 병합은 실패한다 CI 처리량은 크게 늘었지만 production 병합 실패율도 높아져, 더 많은 코드보다 더 강한 검증과 리뷰가 필요하다는 문제가 드러난다.
-
0:53
사람이 판단하는 공장, 스스로 도는 공장 소프트웨어 팩토리는 사람의 판단이 남아 있는 밝은 공장과, 예외 상황만 사람이 개입하는 어두운 공장 사이의 스펙트럼으로 이해할 수 있다. 팀은 자동화를 늘리되 신뢰 가능한 검증을 통해 점진적으로 자율성을 높여야 한다.
-
3:26
하루 3만 건을 리뷰하는 방법 Anthropic은 Claude로 1차 리뷰를 돌리고, 실제 사용자처럼 브라우저에서 경험을 재현하고 lint·도구 실행·종단간 작업까지 확인해 신뢰를 쌓는다. 문제를 찾으면 hook이 diff를 읽고 수정 루프를 즉시 돌려 PR을 빠르게 보정한다.
-
4:54
사람은 검증 증거를 확인한다 팀의 취향과 베스트 프랙티스는 Claude.md나 Agents.md에 명시해 에이전트가 리뷰 기준을 참고하게 하고, 사람은 그 결과의 증거를 확인해야 한다. 브라우저 테스트 영상, 스크린샷, 모바일·데스크톱 캡처처럼 가능한 한 많은 검증 증거를 남기는 것이 중요하다.
-
5:46
다음 개선은 검증에서 나온다 향후 개선의 핵심은 모델 성능 향상과 함께 검증 방식을 구체화하는 데 있다. end-to-end 테스트, property test, 시각적 검증처럼 실제 병합 신뢰도를 높이는 작업이 자동 병합의 기준이 된다.
-
6:24
검증은 모든 루프에서 여러 겹으로 모든 회사는 zero trust 방식의 다층 검증을 도입해 agentic loop, CI loop, 코드 유지보수 전 과정에서 출력을 확인해야 한다. 결정론적 검사로 SQL injection 같은 버그를 잡고, 에이전트 리뷰로 로직·의도 문제를 잡고, 공급망 보안 계층으로 CVE와 악성 패키지를 걸러내는 구조가 필요하다.
-
7:45
통제 · 권한 · 샌드박스 에이전트 수가 급격히 늘어날수록 identity, telemetry, 접근 권한, sandbox 이탈 방지가 핵심 통제 과제가 된다. 무엇을 하고 있는지 추적 가능해야 하며, 권한과 실행 범위를 엄격히 제한해야 한다.
-
8:28
AI가 써도 책임자는 사람이다 PR에 agent-written code인지 표시하는 것은 유용하며, 특히 감사 가능성과 추가 검증 기준을 세우는 데 도움이 된다. 다만 코드 작성 주체가 AI여도 최종 책임과 수정 의무는 사람에게 남는다.
-
9:46
리더와 주니어의 역량, 안전한 병합 기준 리더는 테스트와 검증의 차이를 명확히 정의하고, 에이전트가 스스로 merge해도 될 만큼의 기준을 팀 차원에서 설계해야 한다. 주니어는 end-to-end test, property test 등 다양한 테스트를 익혀 어떤 조건에서 안전한 병합이 가능한지 판단력을 키워야 한다.
-
10:29
빨리 쓰는 것과 빨리 내놓는 것 코드 작성 속도는 이미 해결된 문제이지만, 빠르게 쓰는 것과 빠르게 출시하는 것은 전혀 다르다. 각 루프에 독립적인 자동 검증을 넣어야만 autonomy를 얻을 수 있고, 그때서야 software factory가 신뢰 가능한 속도로 돌아간다.
실무 인사이트
- AI 개발 조직은 생성 속도보다 검증 체계를 KPI로 삼아야 하며, PR 병합 기준을 테스트·증거·감사 가능성 중심으로 재설계해야 한다.
- 브라우저 실행 결과, 스크린샷, 영상 같은 증거를 자동으로 남기면 사람이 리뷰하는 시간을 줄이면서도 신뢰도를 높일 수 있다.
- 에이전트 도입 초기에 권한과 샌드박스를 엄격히 설계하지 않으면 속도 향상이 오히려 운영 리스크로 바뀐다.