Scale the Judgment, Not the Model — Andrew Orobator, Reddit

한 줄 핵심

AI 에이전트가 코드를 잘 쓰는 것보다, 사람 머릿속의 판단을 스킬·워크로그·페르소나·검증 게이트로 외부화해 에이전트가 신뢰 가능한 방식으로 반복 실행되게 만드는 것이 더 중요하다.

시간별 요약

1. 0:00
   죽은 feature flag를 정리하는 전쟁실 오래된 실험용 flag를 없애기 위해 정기 회의를 열어 수작업으로 정리하는 사례를 통해, 유지보수 부담이 사람의 정치력과 시간을 잡아먹는 문제를 보여준다.
2. 0:37
   소개 Reddit의 Android 엔지니어로서, 책임 있게 작업을 확장하는 데 실제로 무엇이 막히는지와 그 주변의 엔지니어링 원리를 다룬다.
3. 0:55
   이 발표가 다루지 않는 것 코드를 AI가 직접 잘 쓰는지 여부가 아니라, 좋은 소프트웨어와 신뢰 가능한 제품을 만들기 위해 필요한 인간의 판단과 검증 체계를 다룬다.
4. 1:55
   이제 우리는 하네스 엔지니어다 가장 희소한 자원이 인간의 창의성과 주의력인 만큼, 코드를 생산·검증하는 제약과 게이트를 설계하는 일이 핵심 역할이 되었다.
5. 2:25
   사람은 판단을 흡수하고, 에이전트는 판단을 명시적으로 필요로 한다 사람은 멘토링·리뷰·사고 대응 과정에서 판단을 자연스럽게 체득하지만, 에이전트는 세션마다 기억이 비어 있으므로 그 판단을 명시적으로 주입해야 한다.
6. 3:00
   모델이 병목이 아니다 더 똑똑한 모델로 바꿔도 조금 나아질 뿐이며, 테스트·게이트·리뷰가 없으면 전체 시스템이 무너진다. 병목은 모델 자체가 아니라 모델을 둘러싼 판단 구조다.
7. 3:30
   사람 머릿속에 갇힌 판단 숙련 리뷰어의 경험 속에는 flag 처리에 필요한 중요한 질문 묶음이 들어 있지만, 그것이 한 사람의 머리에만 있으면 조직 전체로 확산되지 못한다.
8. 4:40
   스킬은 지식 라인이다 스킬은 문제를 해결한 사고 방식을 다음 작업에 재사용하는 구조이며, 문서처럼 사실만 보존하는 것이 아니라 어떤 정보와 결정이 중요한지에 대한 판단을 보존한다.
9. 5:15
   스킬과 문서의 차이 에이전트는 사실보다 어떤 사실이 중요하고 어떤 결정이 위험한지를 모른다. 문서는 사실을 남기고, 스킬은 판단을 남겨 재사용 가능하게 만든다.
10. 5:25
    작업 로그 세션이 바뀌면 컨텍스트 윈도우가 초기화되므로, 계획·결정·시도한 것·예상 밖의 일까지 기록한 worklog가 이어서 작업할 수 있는 핵심 컨텍스트가 된다.
11. 6:25
    이 발표는 worklog로 만들었다 발표 자체를 여러 세션에 걸쳐 worklog로 이어서 작성했고, 커밋 전에 worklog 업데이트를 강제하는 git hook으로 작업 기억을 스스로 유지하게 했다.
12. 6:45
    페르소나 모델에게는 ‘의견’을 묻기보다 특정 관점의 사람들을 상정해 보게 하는 편이 유용하며, 보안·UX·악용 관점 같은 판단을 페르소나로 불러와 활용할 수 있다.
13. 8:05
    가지지 않은 눈을 빌리기 스킬, worklog, 페르소나를 통해 판단을 코드베이스와 저장소에 넣으면, 개발자는 물론 그 판단을 직접 갖고 있지 않은 에이전트도 필요한 시각을 빌려 쓸 수 있다.
14. 8:20
    거버넌스 판단이 여러 곳에 존재하면 조직 전체에 어떻게 퍼뜨릴지의 문제가 생기지만, CI·타입·lint·디자인 시스템 같은 기존 게이트는 이미 제도화된 판단이므로 이를 명시하고 확산시키면 된다.
15. 9:00
    검증 에이전트를 단순한 코드 작성 도구에서 신뢰 가능한 실행 주체로 바꾸는 경계는 검증이며, 신뢰는 빌드와 증명 두 단계에서 인간이 판단해야만 생긴다.
16. 9:40
    검증의 사다리 빌드·테스트·스크린샷·비디오·프로덕션 텔레메트리처럼 점점 더 강한 검증 단계를 인간 없이 통과할수록 자율성을 더 넘길 수 있고, 처음부터 맞히는 것보다 틀렸을 때 이를 감지해 다시 시도하는 능력이 중요하다.
17. 10:15
    게이트에서 초록색이 나올 때까지 반복 사람이 직접 코드에 돌진해 배포하지 않듯 에이전트도 게이트에서 통과할 때까지 생성·테스트·실패·재생성을 반복해야 하며, 자신의 QA를 갖는 구조가 필요하다.
18. 10:35
    에이전트가 스스로 기록하게 만들기 코드를 만든 에이전트의 말보다 실제 실행 영상을 요구하면, 실행 가능한 증거를 만드는 과정 자체가 작업을 제대로 완성하게 만든다.
19. 11:20
    사례 연구: feature-flag 에이전트 오래된 feature flag를 정리하는 전용 에이전트를 만들어, 위험도 점수화와 실험 데이터 확인을 거쳐 안전한 작업만 PR로 보내고, 과거 이력으로 스코어링을 검증한 뒤 실제로 운영했다.
20. 12:10
    PR 하나당 1.26달러 이 에이전트는 PR당 1.26달러 수준으로 수백 개의 flag 정리를 처리하며, 사람이 직접 하면 훨씬 큰 비용이 드는 일을 저비용으로 자동화한다.
21. 12:50
    에이전트는 성공의 구덩이 밖으로 기어오른다 에이전트는 편한 경로를 따르지 않고 우회로를 찾아내므로, repo hook만으로는 부족하고 OS 수준의 게이트처럼 우회할 수 없는 차단점이 필요하다.
22. 14:25
    전문화된 에이전트들의 사회 flag, dependency, accessibility처럼 각각의 좁은 판단을 담당하는 전문 에이전트들이 모여, Minsky의 society of mind처럼 상위에서는 자연스럽게 보이는 시스템을 만든다.
23. 15:25
    루프 안, 루프 위, 루프 밖 에이전트 작업은 프롬프트하는 in the loop, 조정·검토하는 on the loop, 트리거로 자동 시작하는 off the loop의 세 단계로 나뉘며, 인간은 승인과 병합을 계속 책임진다.
24. 15:55
    인코딩된 판단은 썩는다 한 번 적어둔 스킬과 판단은 코드베이스 변화에 따라 쉽게 틀려지므로, 실패 후 postmortem으로 교훈을 다시 스킬에 반영하고, 주기적으로 스스로 오래된 판단을 찾아 정리해야 한다.
25. 17:05
    판단 관리하기 스킬·페르소나·worklog·게이트·전문화된 에이전트는 모두 판단을 관리하는 장치이며, PR이 통과하는 이유는 모델이 천재라서가 아니라 헛된 오류를 막는 하네스가 있기 때문이다.
26. 18:15
    모델이 아니라 판단을 확장하라 팀이 반복해서 묻는 판단을 스킬, 페르소나, lint check, commit hook 같은 형태로 명시화해 에이전트가 닿을 수 있게 만들면, 자율적인 코드베이스는 판단을 코드베이스 밖이 아니라 안에 옮기는 순간부터 가능해진다.

실무 인사이트

• 에이전트를 잘 쓰는 핵심은 모델 교체가 아니라, 팀의 반복 판단을 스킬·게이트·워크로그로 분해해 저장소 안에 넣는 것이다.
• 장기 작업에서는 생성 품질보다 컨텍스트 유지가 더 중요하므로, worklog와 자동 업데이트 훅을 기본 장치로 두는 편이 효과적이다.
• 자율성을 높이려면 우회 가능한 소프트 가드레일보다, 에이전트가 스스로 넘기기 어려운 검증·권한 경계와 실행 증거를 설계해야 한다.