AI-Generated Code Is Already Competing With Human Code — Daksh Gupta, Greptile

한 줄 핵심

AI 코딩 에이전트로 생성된 PR은 이미 인간 PR과 비슷한 품질을 보이며, Greptile은 샌드박스 검증과 코드 컨텍스트 분석으로 이를 엔터프라이즈 수준에서 안전하게 검증할 수 있다고 주장한다.

시간별 요약

1. 0:00
   소개 Greptile은 코드베이스 전체 맥락을 바탕으로 pull request를 검증하는 AI 에이전트를 만들고 있으며, 변경된 파일과 연관 파일을 함께 살펴 결함을 찾는다.
2. 0:25
   Daksh Gupta와 Greptile 변경 코드와 관련 파일을 함께 분석하고, 의존성을 설치한 뒤 로컬 환경과 브라우저를 띄워 실제로 깨뜨려 보며 검증하는 방식이 설명된다. 이후 초점은 이러한 검증이 아니라 완전 자율 코딩 에이전트의 현실성으로 옮겨간다.
3. 0:57
   탭 자동완성에서 완전 자율 에이전트까지 AI 코딩은 tab complete 단계에서 시작해 다중 파일 편집을 거쳐, 이제는 전체 PR을 스스로 만드는 자율 에이전트 단계로 진화했다. 2024~2025년 사이에 그 변화가 급격히 진행되며 코딩 방식의 분기점이 만들어졌다.
4. 2:09
   완전한 바이브 코딩 PR은 정말 괜찮은가? 자율 에이전트가 만든 PR이 실제 회사 코드베이스에서도 통할 수 있는지에 대한 강한 의문이 제기된다. 단순한 데모가 아니라 실무 환경에서 품질이 유지되는지가 핵심 질문으로 설정된다.
5. 2:29
   바이브 코딩 PR을 감지하는 방법: author 필드, co-author footer, branch prefix GitHub author 필드, PR 설명의 co-authored by 문구, 브랜치 이름 접두사 같은 신호를 조합해 AI 생성 PR을 식별하는 방법이 제시된다. Greptile이 월 100만 개 이상의 PR을 검토하는 데이터에서 이를 추적할 수 있었다는 점이 중요하다.
6. 3:49
   PR의 25% 이상이 바이브 코딩이며, 1년 전의 1% 미만에서 급증 이 신호들을 종합한 결과, 한 달에 검토하는 PR의 약 4분의 1이 완전 또는 대부분 AI 생성으로 분류된다. 1년 전에는 1% 미만이었던 수치가 빠르게 늘고 있어, AI 코딩의 확산 속도가 매우 가파르다.
7. 4:18
   좋은 pull request란 무엇인가? AI 생성 PR이 좋은지 평가하려면 먼저 '좋다'의 기준을 정의해야 한다는 문제의식이 제기된다. 이후의 분석은 품질을 단일 지표가 아니라 여러 관점으로 보려는 방향으로 전개된다.
8. 4:38
   revert 비율: Codex, Devin, 인간 비교 PR이 revert되면 나쁜 PR일 가능성이 높다는 가정 아래, Codex, Devin, 인간의 revert 비율을 비교한다. 결과적으로 세 집단 간 큰 차이는 보이지 않아, AI PR이 인간 PR보다 뚜렷하게 나쁘다는 증거는 약하다.
9. 5:28
   PR 크기에 따라 revert 비율은 달라지는가? AI PR이 더 단순한 작업만 맡았기 때문에 좋아 보일 수 있다는 반론을 검증했지만, PR 크기와 revert 비율 사이에 뚜렷한 상관은 거의 없었다. 즉, 차이는 작업 규모 때문이라고 보기 어렵다.
10. 6:08
    발견된 이슈의 심각도: P0, P1, P2 Greptile 코멘트에서 발견되는 P0, P1, P2의 빈도를 비교해도 인간과 에이전트 간 품질 차이는 크지 않았다. 일부 에이전트는 오히려 인간보다 P0를 덜 만들기도 해서, 평균적 품질은 상당히 비슷하게 나타난다.
11. 7:02
    머지 가능한 PR에 도달하기까지의 리뷰 라운드 수 PR이 머지되기까지 걸리는 리뷰 라운드 수를 보면, 인간과 AI 생성 PR 사이에 거의 차이가 없다. 에이전트가 댓글을 반영해 수정하는 반복 과정에서도 인간 대비 명확한 열세는 보이지 않는다.
12. 7:47
    서로 다른 실패 모드: SQL injection, 인증 우회, N+1 쿼리 에이전트는 단순히 더 나쁘거나 좋은 것이 아니라, 실패하는 방식이 인간과 다르게 나타난다. 예를 들어 어떤 에이전트는 SQL injection에 더 취약하고, 어떤 것은 auth bypass나 N+1 쿼리 같은 특정 문제를 더 자주 만든다.
13. 9:07
    자율 에이전트는 엔터프라이즈 환경에서도 작동한다 초기에는 회의적이었지만, 실제 데이터는 엔드투엔드 코딩 에이전트가 대기업 개발 환경에서도 의미 있게 사용될 수 있음을 보여준다. 따라서 엔터프라이즈 코드 리뷰의 역할 자체를 다시 생각할 필요가 있다.
14. 10:01
    코드 리뷰에 미치는 의미: 월 50개 vs. 1,000개 커밋 일부 사용자는 한 달에 50개, 상위권은 500개, 극단적으로는 수천 개의 PR을 만든다. 이 규모를 보면 기존의 수동 리뷰 체계가 더 이상 확장 가능하지 않으며, 검증 방식의 재설계가 필요하다.
15. 10:51
    코드 검증을 다시 생각하기: 세 가지 질문 검증의 핵심은 QA 자동화가 아니라, 배포 전에 무엇을 확인해야 안전하게 머지할 수 있는지 정의하는 데 있다. user contract 위반 여부, 향후 위반 가능성 증가 여부, 작성 의도 충족 여부의 세 가지 질문으로 문제를 단순화한다.
16. 11:16
    Greptile의 검증 방식: blast radius + 샌드박스 브라우저 에이전트 코드를 샌드박스에서 실행하고, 의존성을 설치하고, 입력을 모의하고, 브라우저 에이전트로 실제 동작을 점검하면 많은 결함을 높은 신뢰도로 찾아낼 수 있다. 이런 방식으로 현재는 인간 리뷰나 테스트 없이 머지되는 PR도 적지 않다.
17. 11:56
    마무리 Greptile은 더 많은 PR이 인간 개입 없이도 안전하게 검증될 수 있도록 범위를 넓히는 것을 목표로 한다. 마지막에는 제품 소개와 무료 체험 안내로 마무리된다.

실무 인사이트

• AI 생성 PR의 품질은 'revert 여부'만으로 보면 인간과 큰 차이가 없을 수 있으므로, 보안 이슈·성능 저하·의도 불일치 같은 다면적 지표를 함께 봐야 한다.
• PR 수가 폭증하는 환경에서는 사람 중심 코드 리뷰보다 샌드박스 실행, 브라우저 검증, 계약 위반 탐지 같은 자동 검증 계층이 필수에 가깝다.
• AI 코딩의 실무 도입 포인트는 '코드를 얼마나 잘 쓰는가'보다 '어떤 실패 모드를 어떤 검증으로 잡아내는가'에 있다.