Why AI Didn't Actually Make You Ship Faster — Gabriel Spencer-Harper, Meticulous

한 줄 핵심

AI가 코드를 더 빨리 써도 검증이 따라가지 못하면 배송 속도는 빨라지지 않으며, Meticulous는 프런트엔드 변경을 기록·재생·시각적 diff로 검증해 그 병목을 없애려는 도구다.

시간별 요약

1. 0:00
   소개 발표의 주제는 코드 검증이며, 전체 흐름은 제품 소개, 배경 설명, 데모, 기술 설명 순서로 진행된다.
2. 0:12
   Gabe 소개 Meticulous의 공동창업자이자 CEO인 Gabe Spencer-Harper가 발표자로 등장하며, 곧 제품 데모와 기술 개요를 보여줄 준비를 한다.
3. 0:27
   검증이 새로운 병목 에이전트가 코드를 쓰는 속도보다 검증 속도가 느리면, 조직의 병목은 개발이 아니라 확인 작업으로 이동한다. 그 결과 속도와 버그·사용자 경험 사이에서 계속 절충해야 한다.
4. 1:12
   Meticulous가 하는 일 Meticulous는 프런트엔드 코드베이스에 대해 거의 완전한 검증을 개발자 추가 작업 없이 제공한다. Discord, Dropbox, Notion 같은 회사에서 이미 일상적으로 사용되고 있다.
5. 1:47
   AI는 코드보다 검토를 더 느리게 만든다 AI는 사람이 검토할 수 있는 속도보다 훨씬 빠르게 코드를 생성하므로, 검토와 검증이 핵심 병목이 된다. 단순한 assertion 기반 테스트만으로는 이 속도를 따라가기 어렵다.
6. 2:07
   assertion 테스트만으로는 부족하다 사전에 올바른 동작을 모두 assertion으로 정의하려 해도, 가능한 회귀 조합이 너무 많아 전부 포착할 수 없다. 그래서 테스트를 잘 써도 실제 변경 영향은 놓치기 쉽다.
7. 2:27
   이 PR에 머지 버튼을 누를 수 있는가 AI가 만든 PR을 받아도 대부분의 조직은 바로 머지하기 어렵고, feature flag·role·permission·설정·엣지 케이스를 직접 확인해야 한다. 검증 범위가 넓을수록 사람이 최종 판단에 더 많은 시간을 써야 한다.
8. 3:01
   버그, flaky test, 시간 손실 현재 방식은 버그와 회귀로 이어질 수 있고, 끝단 테스트 유지보수에 조직 시간의 두 자릿수 비율이 들어간다. 수동 검증과 flaky test 디버깅, 테스트 갱신에 많은 시간이 소모된다.
9. 3:46
   완전한 검증이 여는 것 검증이 충분히 포괄적이면 의존성 업데이트, 대규모 리팩터링, AI 생성 변경을 훨씬 더 자신 있게 수행할 수 있다. 그래서 핵심 질문은 어떻게 그 수준의 검증을 달성하느냐다.
10. 4:16
    기록과 재생 데모 비프로덕션 환경에 한 줄의 JavaScript를 넣어 브라우저 흐름을 기록하고, PR이 열리면 그 흐름 일부를 localhost에서 재생해 각 시점의 스크린샷을 만든다. 변경 전후의 화면 시퀀스를 diff하여 실제로 달라지는 부분을 보여준다.
11. 5:51
    PR에서 시각적 diff 검토 개발자는 댓글로 올라온 diff를 보고 변경이 기대된 것인지 아닌지를 판단한다. assertion처럼 정답을 미리 코드로 고정하는 대신, 보이는 차이를 검토 시점에 판단하는 방식이다.
12. 7:11
    네트워크를 모킹하는 방식 기록 시점의 네트워크 요청과 응답을 재생 시점에 그대로 stub 처리해 테스트를 반복 실행해도 결과가 같게 만든다. 테스트 간 격리가 되므로 race condition이 줄고, 병렬 실행으로 몇 분 안에 결과를 얻는다.
13. 8:01
    결정론적 브라우저 브라우저의 스케줄링 계층부터 deterministic하게 보강해 애니메이션, 타이머, CPU 속도 같은 랜덤성을 줄인다. 그 결과 Cypress나 Playwright보다 훨씬 적은 flaky test가 발생한다.
14. 8:41
    커버리지 기반 흐름 선택 기록한 각 세션을 main branch에 재생해 어떤 코드 라인이 실행되는지 추적하고, 코드 커버리지를 가장 넓게 만드는 workflow 집합을 고른다. 이를 통해 모든 기능 조합과 권한·설정 분기를 더 포괄적으로 덮는다.
15. 9:25
    코드 커버리가 드디어 의미를 갖는 이유 일반적인 테스트에서 코드 커버리는 assertion 품질을 보장하지 못하지만, Meticulous는 모든 순간의 스크린샷을 비교해 코드가 실제로 테스트된 것과 가깝게 만든다. 그래서 픽셀 하나의 차이도 잡아낼 수 있고, 커버리지 알고리즘과 낮은 플래키니스가 함께 작동해야 한다.
16. 10:45
    마무리 발표는 제품과 부스를 안내하며 마무리되고, 핵심 메시지는 AI 시대에 속도를 제한하는 것은 코드 작성이 아니라 검증이라는 점이다.

실무 인사이트

• AI 도입 효과를 체감하려면 생성 속도보다 검증 속도를 먼저 개선해야 하며, 특히 프런트엔드처럼 상태 조합이 많은 영역에서 시각적 검증이 강력하다.
• assertion 중심 테스트만 늘리는 방식보다, 실제 사용자 흐름을 기록·재생해 변경 전후 차이를 보는 방식이 회귀 검출과 리뷰 효율을 높일 수 있다.
• 플래키니스 제거와 커버리지 최적화는 별개가 아니라 한 시스템으로 설계해야 하며, 그래야 대규모 자동 검증이 실무에서 유지된다.