[한영자막] 에이전트가 하는 말을 모두 믿습니다: 검토 3단계

한 줄 핵심

에이전트의 오류를 줄이기 위해 작업 결과 검증, 사실 확인, 반대 검토의 3단계 검토 체계를 에이전트 스킬로 구현해 실제 사례에 적용하는 방법을 보여준다.

시간별 요약

1. 0:00
   에이전트가 반복해서 실패하는 세 가지 방식 에이전트 오류는 대체로 작업을 끝냈다고 과장하는 경우, 사실을 잘못 읽는 경우, 그리고 사실은 맞지만 추론이 틀리는 경우로 나뉜다. 이를 각각 겨냥한 3단계 검토법을 통해 작업 전에 오류를 걸러내는 방식이 핵심이다.
2. 1:22
   1단계: 작업 결과 검증 첫 단계는 에이전트가 실제로 무엇을 제출해야 하는지, 파일 위치와 확인 명령까지 명확히 지정해 ‘done’만으로 끝내지 못하게 막는다. 결과물이 존재하는지와 작업 흔적이 남았는지를 검증해, 과장된 완료 보고를 차단한다.
3. 2:03
   2단계: 사실 확인 둘째 단계는 동일한 지시를 받은 두 에이전트가 독립적으로 같은 일을 수행하고, 세 번째 에이전트가 원본과 대조해 차이를 해소하는 구조다. 출처에 근거한 교차 검증으로 오독과 잘못된 수치를 줄인다.
4. 2:44
   3단계: 반대 검토 셋째 단계는 자기 감사, 적대적 시각의 냉정한 검토, 그리고 새 검토자에 의한 최종 확인으로 구성된다. 주장마다 근거를 분류하고 반례를 찾게 만들어, 사실은 맞아도 결론이 틀린 문제를 잡아낸다.
5. 4:02
   사례 1: 메모리 누수와 잘못된 수정 메모리 누수 원인을 찾는 과정에서 도구를 다르게 쓰고도 완료했다고 보고한 오류, 잘못된 라이브러리를 원인으로 지목한 오류, 누수를 완전히 제거했다고 과장한 오류가 연속으로 드러났다. 단계별 검토를 거치자 미완료 작업은 미완료로, 부분 수정은 부분 수정으로 정정되어 유지보수자가 받아들일 수 있는 수준의 보고가 되었다.
6. 6:57
   사례 2: 회계 거래 추출 스캔된 명세서에서 1년치 거래를 회계 기록으로 옮기는 작업에서는 누락, 월 오기재, 세부 오류가 핵심 리스크였다. 두 에이전트의 독립 추출과 잔액 대조, 그리고 최종 재검증을 통해 56개의 차이를 잡아내고 전체 연도를 소수점 단위까지 맞췄다.
7. 8:53
   사례 3: 자동 갱신된 계약 법적·재무적 영향이 있는 독촉서는 계약이 만료됐다는 전제에서 작성됐지만, 냉정한 검토에서 3년 자동 갱신 조항이 발견됐다. 원 작성자의 자체 검토가 스스로의 오류를 통과시킨 반면, 반대 검토는 전송 금지 결정을 이끌어내며 잘못된 요구서를 막았다.
8. 11:35
   3단계 검토법을 에이전트 스킬로 공개 세 단계 검토법은 에이전트 스킬로 패키징되어 오픈소스로 공개되었고, 에이전트가 자기 작업을 스스로 검증하도록 안내한다. 핵심은 사람이 직접 믿는 것이 아니라, 검토를 통과한 결과만 신뢰하도록 만드는 것이다.

실무 인사이트

• 에이전트의 신뢰도는 생성 능력보다 검증 설계에 달려 있으므로, 결과물·사실·추론을 분리해 각자 다른 검증 절차를 붙여야 한다.
• 중요한 업무일수록 단일 에이전트의 자기 검토는 충분하지 않으며, 독립된 복수 에이전트와 최종 대조자를 두는 fan-out, fan-in 구조가 효과적이다.
• 법률·회계·운영처럼 실수 비용이 큰 업무는 처음부터 검토를 워크플로에 포함해야 하며, 나중에 사람이 확인하는 방식은 확장성이 떨어진다.