I Made a Fruit Fly Review My Code - Nick Nisi, WorkOS

한 줄 핵심

사람이 코드 리뷰의 병목이 된 상황에서, 프루트플라이 뇌를 활용한 자동 판정으로 인간 개입은 꼭 필요한 변경에만 집중시키자는 실험과 비전을 보여준다.

시간별 요약

1. 0:00
   소개 Nick Nisi가 WorkOS에서 개발자와 에이전트 경험 팀을 이끄는 배경을 소개하고, 이번 발표가 코드 리뷰의 병목 문제를 다루는 이야기임을 예고한다.
2. 0:37
   사람이 병목이다 코드는 더 빨리 작성되지만 PR 검토는 여전히 사람이 막고 있으며, 이제는 기능 자체가 기대대로 동작하는지만 확인하면 되는 시대라 코드 리뷰의 역할도 바뀌어야 한다는 관점을 제시한다.
3. 2:35
   "버그"라는 단어의 유래 소프트웨어의 bug가 실제 나방에서 유래했다는 일화를 짚고, 그 반대발상으로 bug를 이용해 bug를 찾는다는 실험의 방향을 잡는다.
4. 3:04
   버그로 버그를 찾기 프루트플라이를 디지털 환경에 연결해 JavaScript를 읽게 만들고, 단순한 장난이 아니라 코드 리뷰 판단을 맡기는 대상으로 삼는 실험 개요를 보여준다.
5. 4:00
   프루트플라이 뇌를 코드 리뷰에 연결하기 말초신경이 아닌 실제 male fruit fly brain connectome을 사용하며, 176,000개 뉴런과 6.3 million 연결을 바탕으로 코드의 좋고 나쁨을 기억하게 설계한 구조를 설명한다.
6. 4:57
   코드를 냄새로 바꾸기 코드를 직접 이해시키는 대신 30개의 질문으로 코드의 상태를 추출해 냄새 신호로 바꾸고, 그 냄새를 기억과 연결해 좋은 코드와 나쁜 코드를 구분하도록 만든다.
7. 6:43
   설탕, 쓴맛, 그리고 기억 학습 결과를 맛의 보상과 처벌로 연결해 도파민 반응이 뉴런 연결을 바꾸게 하며, 설탕은 접근을 강화하고 쓴맛은 회피를 강화하는 방식으로 기억을 형성한다.
8. 7:32
   정말 프루트플라이가 중요한가? 단순히 다른 모델의 판단을 전달하는 껍데기가 아니라, 기억이 제거되면 행동이 무너지는 것을 통해 프루트플라이 뇌 자체가 판단 처리의 핵심임을 확인한다.
9. 8:15
   프루트플라이보다 똑똑한가? 실제 코드 조각 3개를 관객과 프루트플라이가 함께 판정한 결과, 사람과 비슷하거나 꽤 높은 정확도로 맞히는 모습을 보이며 실용 가능성을 점검한다.
10. 10:22
    실제 pull request 적용하기 실제 PR에 적용해 보지만 판단을 확정하지 못하는 경우도 있으며, 그래도 여러 테스트에서 높은 비율로 문제를 잡아내고 설명 대신 냄새 기반 경고를 주는 수준까지는 도달했음을 보여준다.
11. 11:55
    인간만 아는 것: 왜 도구는 변경점과 단순한 오류는 잘 잡지만, 왜 이 코드가 바뀌었는지와 기능의 맥락은 알 수 없으므로 최종적으로는 인간이 이유를 이해하는 역할이 남는다고 정리한다.
12. 12:33
    중요한 리뷰만 에스컬레이션하기 모든 PR을 사람이 보지 말고, 팀 기준 스킬 → 분류기 → 자동 리뷰어 순으로 통과한 것만 인간에게 올리는 계층적 검토 구조를 제안한다.
13. 14:56
    리뷰 대신 증명 앞으로는 코드 자체보다 기대한 동작을 증명하는 자료가 더 중요해지므로, 스크린샷·영상·테스트 결과·smoke test 같은 검증 증거를 함께 제공하는 방식이 필요하다고 마무리한다.

실무 인사이트

• 코드 리뷰의 목표를 '코드 읽기'에서 '기능이 의도대로 동작한다는 증명 확인'으로 바꾸면, 인간 검토를 더 가치 있는 지점에 집중시킬 수 있다.
• 자동 리뷰는 단일 모델 판정이 아니라 팀 규칙, 위험도 분류, 자동 검토를 층층이 쌓아야 실제 운영에서 신뢰를 얻는다.
• AI가 리뷰를 대체해도 '왜 바뀌었는가'와 팀 맥락은 인간이 설명해야 하므로, 리뷰는 승인보다 의사결정 맥락 전달에 더 가까워진다.