225,000 Lines of Tests, Written and Merged by Agents - Kush Agrawal, Duolingo

한 줄 핵심

Duolingo는 Temporal, Cloud Code, GitHub, S3를 엮은 에이전트 파이프라인으로 iOS 코드베이스의 단위 테스트를 자동 생성·검증·머지해 225,000줄의 테스트와 59%의 MVVM 커버리지를 달성했다.

시간별 요약

1. 0:01
   왜 지금 테스트 자동화가 필요한가 iOS 코드베이스는 2백만 줄 규모로 커졌고, 600개 이상의 A/B 테스트와 주당 배포 속도 때문에 코드를 쓰는 것보다 검증하는 일이 더 큰 병목이 됐다. MVVM 구간의 테스트 커버리지가 매우 낮았기 때문에, 에이전트로 단위 테스트를 대량 생산하는 프로젝트가 시작됐다.
2. 3:01
   에이전트 기반 테스트 생산 시스템 핵심 루프는 테스트가 필요한 파일을 고르고, 에이전트가 테스트를 작성하고, CI로 검증한 뒤, 인간 리뷰를 거쳐 머지하고, 그 피드백을 다음 실행에 반영하는 구조다. 이 흐름은 Temporal이 오케스트레이션하고, Cloud Code가 코딩 에이전트를 맡으며, S3가 공유 상태를 저장하고, GitHub와 Datadog이 각각 작업 관리와 관측을 담당한다.
3. 4:01
   작게 검증하며 실패 패턴을 제거 먼저 로컬에서 간단한 오케스트레이터로 파일 선택과 테스트 생성을 돌려 50% 수준의 머지율을 확인하며, 에이전트가 어디서 실패하는지 학습했다. XCTest와 Swift Testing 혼용, 목 객체 구조의 불일치, 동시성 이슈, 타이밍 기반 테스트 같은 문제를 규칙과 스킬, 린트 강제, 예시 보강으로 줄였다.
4. 6:00
   대규모 백필과 PR 수명주기 운영 가장 큰 성과는 이미 머지된 코드에 대한 백필 테스트를 매일/주기적으로 생성한 점이며, 파일 유형과 크기를 점수화해 테스트하기 쉬운 코드부터 우선 처리했다. 이후 PR이 쌓이자 상태 머신 방식의 수명주기 워크플로우로 CI 상태 확인, 리뷰어 배정, 재시도, 쿨다운, 자동 머지까지 관리해 운영 부담을 줄였다.
5. 9:00
   품질 통제와 최종 성과 린트 실패는 프롬프트 개선, GitHub Actions 자동 수정, 규칙 정리, Mac runner 전환으로 줄였고, 생산 코드 수정이나 기존 테스트 무력화 같은 품질 저하는 결정 규칙과 LLM 심사기로 차단했다. 그 결과 700개 이상의 테스트 PR이 인간 승인으로 머지되며 225,000줄의 테스트가 추가됐고, 전체 커버리지는 11%에서 24%, MVVM 구간은 9%에서 59%로 올라갔다.

실무 인사이트

• 에이전트 도입의 성패는 생성 능력보다 검증 루프 설계에 달려 있으므로, 생성-검증-리뷰-피드백을 하나의 운영 시스템으로 묶어야 한다.
• 테스트 자동화는 무작위 확대보다 '잘 테스트되는 코드부터' 우선순위를 매기는 선택 로직이 중요하며, 파일 유형·크기·레거시 여부 같은 신호가 효과적이다.
• 인간 리뷰를 없애기보다 에이전트가 초안을 만들고 사람은 최종 승인만 하는 구조가 가장 현실적이며, 품질 규칙을 명시적으로 강제할수록 확장성이 높아진다.