[한영자막] 토큰에게도 각자의 역할이 필요합니다 — Anthropic의 에이전트 설계법

한 줄 핵심

에이전트의 성능은 단순히 토큰 예산을 늘리는 것보다 토큰에 서로 다른 역할을 부여하고, 같은 예산 안에서 조언·평가·회고 같은 전략을 설계하는 데서 더 크게 개선된다.

시간별 요약

1. 0:00
   모든 토큰은 정말 같을까 에이전트 작업에서는 보통 더 많은 토큰이나 더 비싼 토큰을 쓰는 방식으로 성능을 올리지만, 모든 토큰이 서로 완전히 대체 가능하다는 가정이 정말 맞는지 의문을 제기한다. 같은 예산이라도 토큰의 역할을 나누면 결과가 달라질 수 있다는 문제의식이 출발점이다.
2. 1:14
   실행을 넘어 토큰에 역할 나누기 토큰을 단순 실행자만이 아니라 조언자, 평가자, 회고자처럼 다른 일을 맡기는 구성을 전략으로 정의한다. 실행과 별도로 다른 토큰이 보조·검증·학습을 담당하면 같은 작업도 더 나은 결과로 이어질 수 있다.
3. 2:05
   조언, 평가, 회고 전략 조언 전략은 실행자가 필요한 순간에 조언을 받아 다음 단계를 점검하게 만들고, 평가 전략은 루브릭을 기준으로 결과를 채점해 부족하면 다시 시도하게 만든다. 회고 전략은 실행 기록과 전사본을 분석해 학습 내용을 메모리에 남기고, 다음 실행이 더 나아지도록 만든다.
4. 4:08
   금융 분석 벤치마크 실험 금융 분석 과제로 벤치마크를 구성해 실행만 하는 기준선과 여러 전략의 성능을 비교했다. 단순 실행은 정확도가 낮았지만, 복잡한 전략일수록 성능은 올랐고 그만큼 토큰도 더 많이 사용했다.
5. 5:25
   같은 예산에서의 성능 비교 최대 토큰 예산을 600,000 수준으로 고정한 뒤 모든 전략을 같은 조건에서 비교하자, 전략별로 성능 차이가 분명히 드러났다. 같은 예산이면 모두 비슷해야 한다는 생각과 달리, 실행·조언·평가·회고는 서로 다른 효율을 보여 전략 선택의 여지가 있음을 확인한다.
6. 6:40
   80% 정확도가 쓸모없을 수 있는 이유 재무 분석처럼 금액과 숫자가 정확해야 하는 업무에서는 80% 정확도가 사실상 의미가 없다. 한 번에 완벽한 결과가 아니면 사람이 다시 계산해야 하므로, 벤치마크 점수보다 실제 업무에서의 ‘완전한 통과’ 여부가 더 중요하다.
7. 8:22
   완벽한 답을 얻는 실제 비용 완벽한 결과를 얻기까지 몇 번 재시도해야 하는지까지 포함해 계산하면, 진짜 비용은 단일 실행의 토큰 수보다 훨씬 커질 수 있다. 어떤 전략은 토큰 효율이 높고, 어떤 전략은 완전 통과 확률이 높아 목적에 따라 최적 선택이 달라진다.
8. 10:14
   기본 요소로 고도화된 전략 만들기 하네스와 오케스트레이션 같은 기본 요소가 갖춰지면, 실행·조언·평가·회고를 조합한 복잡한 전략을 비교적 쉽게 구성할 수 있다. 핵심은 토큰을 단순 소모품이 아니라 역할을 가진 자원으로 보고, 문제에 맞게 전략적으로 배치하는 데 있다.

실무 인사이트

• 에이전트 성능을 볼 때는 단일 실행 정확도보다 ‘같은 예산에서 완전한 결과를 얻는 총비용’을 기준으로 비교해야 한다.
• 실무에서는 토큰 효율과 신뢰성 중 무엇이 더 중요한지 먼저 정한 뒤, 조언·평가·회고 전략을 그 목표에 맞게 선택하는 편이 효과적이다.
• 복잡한 작업일수록 실행자만 두기보다 검증자와 회고자를 분리해 루프를 설계하면 재시도 비용을 줄이면서 품질을 올릴 수 있다.