How We Took an AI Agent From 41% to 97% Accurate - Milind Sunil Shah, Brainbase Labs

한 줄 핵심

복잡한 웹·브라우저 작업을 수행하는 AI 에이전트를 6단계 프레임워크로 설계해, Domino's 가격 수집 정확도를 41%에서 97%까지 끌어올린 사례다.

시간별 요약

1. 0:00
   소개 기업 내부 에이전트를 대규모로 배포하고 관리하는 경험을 바탕으로, 백오피스 에이전트를 성공적으로 개선한 방법을 공유한다.
2. 0:26
   Domino's 가격 문제 경쟁사 웹사이트와 앱에서 피자 가격과 프로모션을 비교해 최저가를 스프레드시트로 정리해야 했고, 사람이 하던 복잡한 조회·판단·기록 업무를 에이전트가 대신하도록 만들어야 했다.
3. 1:36
   41%에서 97%까지 버전 1은 정확도 41%였지만 버전 11에서는 97%까지 올라갔고, 소스당 비용은 $2에서 $1로, 실행 시간은 129분에서 71분으로 줄었다. 개선은 모델 교체보다 지시문, 스킬, 플레이북 변경만으로 이뤄졌다.
4. 2:02
   6단계 프레임워크 킥오프, 온톨로지, 벤치마크·평가, 첫 번째 좁은 에이전트 배포, 반복 개선, 그리고 전체 루프 인수인계의 6단계로 문제를 푼다. 이 흐름은 Domino's뿐 아니라 다른 고객에도 재사용 가능한 구조다.
5. 2:23
   성공 기준 합의 무엇을 성공으로 볼지, 사람이 최종 승인하는 결과가 무엇인지, 속도·비용·정확도 기준이 얼마인지, 무엇을 절대 혼자 판단하면 안 되는지 먼저 합의해야 한다. Domino's에서는 더 빠르고 반복 가능한 가격 수집이면서도 예외 판단은 사람에게 남기는 방향으로 목표를 정의했다.
6. 3:35
   모든 용어 정의 에이전트가 추측하지 않도록 수집 대상, 출처, 저장 위치, 각 용어의 의미, 실패 시 행동 규칙을 모두 문서화해야 한다. Domino's에서는 가격 관측 테이블, 체크아웃 시 실제 지불 가격 규칙, 프로모션 계산, 배송과 포장 구분 같은 세부 규칙을 명확히 적었다.
7. 5:43
   벤치마크와 평가 과거 정답 사례로 오프라인 벤치마크를 만들고, 무엇을 코드로 검증할지, 무엇을 LLM 판정에 맡길지, 무엇을 에이전트 판정으로 확인할지 나눠야 한다. Domino's는 과거 스프레드시트와 archive.org 스냅샷, 브라우저 스크린샷을 활용해 내부 평가 환경을 구성했다.
8. 7:42
   좁은 첫 에이전트 배포 처음부터 범위를 넓히지 말고, 가장 작은 검증 가능한 범위의 에이전트를 먼저 배포해 측정해야 한다. Domino's는 한 앱·한 아이템·한 도시에서 시작해, 이후 버거·테이크아웃·다른 앱·다른 웹사이트로 범위를 넓혔다.
9. 8:49
   점수화·수정·배포 반복 가장 자주 또는 가장 비싸게 실패하는 지점을 찾아 한 번에 한 가지씩 고치고, 그 변화가 비용이나 시간을 얼마나 늘리는지도 함께 판단해야 한다. 실패 사례는 벤치마크와 평가 기준으로 다시 흡수해 개선 루프를 만든다.
10. 9:44
    링크 아래의 할인 처리 페이지의 링크된 섹션만 보고 멈추지 말고, 같은 페이지 아래에 숨어 있는 더 저렴한 할인 정보를 끝까지 확인하도록 규칙을 추가해야 한다. 이 작은 규칙 하나로 에이전트가 놓치던 가격을 다시 잡아낼 수 있었다.
11. 10:28
    이미지 확대 루프 문제 해결 프로모션 정보가 이미지 안에 있을 때 에이전트가 과도하게 확대를 반복하며 루프에 빠질 수 있어, HTML DOM과 alt text, 이미지 제목부터 먼저 보게 해야 한다. 이런 수정으로 이미지 조회 수와 비용이 크게 줄고, 실제 완료된 결과를 얻을 수 있었다.
12. 11:56
    전체 루프 인수인계 에이전트 실행뿐 아니라 결과 검토, 수정 사항의 규칙화, 새 버전 승인까지 포함한 전체 운영 루프를 고객에게 넘겨야 한다. Domino's에서는 예약 실행과 이메일 트리거, 예외만 검토하는 방식, 수정의 벤치마크 자동 반영으로 운영을 넘겼다.

실무 인사이트

• 복잡한 에이전트 성능 개선은 모델 변경보다 먼저, 용어 정의와 실패 규칙을 문서화하는 것에서 큰 효과가 난다.
• 평가 체계는 단일 정답 채점이 아니라 코드 검증, LLM 판정, 에이전트 판정을 조합해 설계해야 실제 업무 품질을 안정적으로 올릴 수 있다.
• 운영 성공의 기준은 에이전트 자체가 아니라, 고객이 예외를 검토하고 규칙과 벤치마크를 계속 갱신할 수 있는 전체 루프를 넘기는 데 있다.