Tokens Should Have Jobs — Katelyn Lesse & Angela Jiang, Anthropic

한 줄 핵심

토큰을 단순 실행 자원으로만 보지 말고, 자문·평가·기억 같은 서로 다른 역할로 분업시키면 같은 예산에서도 더 정확하고 유용한 에이전트 전략을 만들 수 있다.

시간별 요약

1. 0:00
   모든 토큰은 서로 같은가? 에이전트 시스템에서 성능을 올리는 보편적 방법은 예산을 늘리는 것이지만, 토큰이 모두 같은 일을 해야 한다는 전제가 정말 맞는지 의문을 제기한다. 기본적인 에이전트는 토큰을 모두 실행에만 쓰지만, 더 나은 결과를 위해서는 토큰의 역할을 나눌 필요가 있다.
2. 1:34
   실행 외의 역할을 부여하기 일부 토큰은 실행을 돕는 자문 역할, 결과를 채점하는 역할, 수행 내용을 되돌아보며 배움을 메모리에 남기는 역할을 맡을 수 있다. 이렇게 실행 토큰과 다른 직무의 토큰을 조합한 구성을 전략이라고 볼 수 있다.
3. 2:25
   자문, 채점, 꿈꾸기 자문 전략은 실행자가 다음 단계를 판단할 때 조언을 받아 정확도를 높이고, 영업 에이전트처럼 진행 여부를 판단해야 하는 업무에 유용하다. 채점 전략은 명확한 기준표를 바탕으로 결과를 평가해 재시도를 유도하며, 고객지원처럼 규칙이 분명한 업무에 적합하다. 꿈꾸기 전략은 실행 기록과 전사 내용을 분석해 배운 점을 메모리에 남기고 다음 수행에 반영해 점차 개선한다.
4. 4:28
   재무 분석 벤치마크 재무 분석 과제로 벤치마크를 만들고, 실제 전문가 수준의 결과를 재현할 수 있는지 여러 전략을 비교했다. 단발 실행은 정확도가 낮았고 토큰 사용도 적었지만, 더 복잡한 전략들은 더 많은 토큰을 써서 더 높은 정확도를 냈다.
5. 5:45
   예산을 고정하기 전략 간 공정한 비교를 위해 가장 많은 토큰을 쓴 전략의 예산을 모든 전략에 동일하게 적용했다. 같은 예산에서도 실행보다 자문이 더 높은 성능을 보였고, 단순히 예산만 늘리는 것 외에 역할 분리가 추가 성능 차이를 만든다는 점이 드러났다.
6. 7:00
   80% 정확도는 쓸모없다 재무 업무에서는 P&L이나 비용 숫자를 100% 맞히지 못하면 다시 계산해야 하므로, 80% 정확도는 실무적으로 거의 의미가 없다. 그래서 벤치마크 점수도 100%만 합격으로 보고, 나머지는 실패로 처리하는 기준으로 다시 해석해야 한다.
7. 8:42
   완벽한 답의 진짜 비용 완벽한 답을 얻는 데 필요한 실제 비용은 한 번의 실행 비용이 아니라, 합격이 나올 때까지 여러 번 반복하는 총비용이다. 이 관점에서 자문과 채점은 토큰 효율이 높고, 신뢰성과 합격률을 중시하면 채점이나 꿈꾸기 같은 전략이 더 적합하다.
8. 10:34
   기본 요소로 전략 만들기 강력한 하네스와 메타 하네스, 그리고 여러 에이전트의 오케스트레이션이 있으면 실행자, 자문자, 채점자, 꿈꾸는 역할을 유연하게 조합해 복잡한 전략을 구성할 수 있다. 앞으로는 플랫폼이 이런 전략을 더 동적으로 만들어 주겠지만, 당장은 토큰에 직무를 부여하고 기본 요소를 조합해 문제에 맞는 전략을 설계하는 것이 핵심이다.

실무 인사이트

• 같은 토큰 예산이라도 실행·자문·채점·기억의 역할을 분리하면 정확도와 합격률이 달라지므로, 먼저 업무를 분해한 뒤 역할별 토큰 배치를 설계하는 것이 효과적이다.
• 평가 지표는 단순 정확도보다 실무 기준의 합격/실패로 다시 정의해야 하며, 특히 숫자 오류가 허용되지 않는 도메인에서는 100% 기준의 회귀 평가가 필요하다.
• 비용 최적화와 신뢰성 최적화는 서로 다른 전략을 요구하므로, 제품 목적에 따라 advise, grade, dream 중 무엇을 기본 전략으로 둘지 명확히 정해야 한다.