I Believe Everything My Agents Tell Me: Three Levels of Review — Corey Gallon, Rexmore

한 줄 핵심

에이전트의 오류를 막기 위해 산출물 검증, 독립 추출·소스 대조, 적대적 재검토의 3단계 리뷰를 에이전트 스킬로 운영하면, 사람이 직접 일일이 검수하지 않고도 실무 품질을 크게 끌어올릴 수 있다.

시간별 요약

1. 0:00
   반복되는 세 가지 에이전트 실패 모드 에이전트는 자주 일을 끝냈다고 과장하거나, 출처를 잘못 읽거나, 사실은 맞지만 결론을 잘못 내린다. 이 세 가지 실패에 각각 대응하는 3단계 리뷰 방법이 핵심 해법으로 제시된다.
2. 1:22
   산출물 자체를 검증하기 첫 번째 단계는 에이전트가 실제로 넘겨야 할 파일, 위치, 검증 명령을 작업 시작 전에 명확히 적어두고, 결과물의 존재와 작업 흔적을 확인하게 만드는 것이다. 완료라고만 말하는 것은 허용되지 않으며, 산출물이 없으면 그 이유까지 보고해야 한다.
3. 2:03
   독립 추출과 출처 확인 정확성이 중요할 때는 동일한 지시를 받은 두 에이전트가 서로를 보지 않고 독립적으로 같은 작업을 수행해야 한다. 이후 세 번째 에이전트가 원문 소스를 기준으로 두 결과를 행 단위로 비교해 차이를 해소한다.
4. 2:44
   대립적이고 새로운 시각의 재검토 추론의 타당성이 중요하면 먼저 자기 점검으로 주장별 근거를 구분하고, 다음에는 맥락을 모르는 비판적 리뷰어가 냉정하게 읽는다. 마지막으로 수정된 결과를 처음 보는 새로운 리뷰어가 다시 확인해, 오류가 남지 않도록 단계적으로 방어한다.
5. 4:02
   메모리 누수와 과장된 수정안 오픈소스 dictation app의 메모리 누수 사례에서는 에이전트가 잘못된 도구 사용, 잘못된 원인 지목, 과장된 수정 효과를 각각 내놓았고, 리뷰 단계가 이를 잡아냈다. 그 결과 실제 문제 원인과 개선 범위를 정확히 반영한 pull request가 받아들여졌다.
6. 6:57
   한 푼도 어긋나지 않는 회계 스캔된 연간 회계 명세를 거래 단위 기록으로 바꾸는 작업에서는 월별 balance를 기준으로 두 에이전트가 독립 추출하고, 세 번째가 차이를 대조해 정합성을 맞췄다. 이 방식으로 누락, 월 오류, 설명 오류를 잡아내며 전체 장부를 penny 단위까지 맞췄다.
7. 8:53
   독촉장과 놓친 자동 갱신 법적·재무적 영향이 있는 demand letter에서는 계약과 invoice에 대한 사실 확인이 중요했지만, 냉정한 리뷰에서 3년 auto-renewal 조항이 발견되었다. 계약이 이미 자동 갱신된 상태였기에, 초기 초안은 보내지 않고 다시 작성해야 했다.
8. 11:35
   리뷰 방법을 에이전트 스킬로 배포하기 3단계 리뷰는 agent skills 형태로 정리되어 오픈소스로 공개되었고, 에이전트가 스스로 자기 작업을 검증하도록 활용할 수 있다. 핵심은 믿는 대상이 에이전트가 아니라, 충분히 검증된 결과물이라는 점이다.

실무 인사이트

• 에이전트 작업은 '정확한 답'보다 '검증 가능한 산출물'을 요구하도록 설계해야 하며, 완료 판정 기준을 작업 전에 명시해야 한다.
• 중요한 업무에서는 한 번의 검토보다 독립 수행 → 소스 대조 → 냉정한 재검토의 fan-out, fan-in 구조가 오류 탐지율을 크게 높인다.
• 법무·회계·배포 직전처럼 되돌리기 어려운 작업은 사람이 직접 확인하기보다, 서로 다른 관점의 에이전트 검수를 통과해야만 다음 단계로 넘기는 것이 안전하다.