'두 번 확인해' 한 줄에 비용 48% 샜다 | 옛날 프롬프트가 Claude를 망치는 이유 (Anthropic Lance Martin)

한 줄 핵심

오래된 프롬프트 지시를 제거하고 캐시·평가·하네스를 함께 다듬어야 Claude의 비용과 성능을 동시에 개선할 수 있다.

시간별 요약

1. 0:00
   환불 4건을 놓친 고객센터 AI 오래전에 추가된 상반된 규칙 때문에 최신 모델이 환불 티켓을 계속 확인만 하며 비용을 낭비했고, 예전 모델에 통하던 지시가 이제는 정확도와 효율을 함께 해칠 수 있음을 보여준다.
2. 0:40
   프롬프트에도 기술 부채가 쌓인다 옛 모델용 지시어인 '두 번 확인해라' 같은 문구는 최신 모델의 내장 추론과 충돌해 토큰과 비용을 낭비하므로, prompt-audit로 불필요한 규칙과 충돌하는 스크래치패드를 제거해야 한다.
3. 2:19
   프롬프트 캐시와 타임스탬프의 함정 반복되는 앞부분을 캐시하면 비용을 크게 줄일 수 있지만, 시스템 프롬프트의 타임스탬프나 ID처럼 매번 바뀌는 값 하나만 있어도 캐시가 깨지므로 공통 지시를 앞에 고정하고 변동 정보는 뒤로 보내야 한다.
4. 3:13
   Claude가 점수를 올릴 수 있는 평가 만들기 좋은 평가는 더 강한 모델일수록 점수가 오르고, 더 많이 생각할수록 좋아지며, 결과가 안정적이어야 한다. 애매한 문제를 섞지 말고 원본 데이터로 문제와 채점 기준을 함께 만들면서 사람 확인을 끼워 넣어야 한다.
5. 3:54
   과적합 없이 성능 올리기 평가를 학습용과 시험용으로 분리해 학습 점수만 오르고 시험 점수가 정체되면 과적합을 되돌려야 한다. 이 방식으로 Claude API 스킬의 누락 기능과 잘못된 채점기를 고쳐 66%에서 87.9%까지 올렸다.
6. 4:29
   비용을 목표로 최적화하기 성능을 유지하면서 비용만 줄이도록 힐 클라임을 걸면, 더 똑똑한 모델을 덜 애쓰게 쓰는 쪽이 비싼 모델을 오래 돌리는 것보다 유리하다. 오딧과 모델 전환만으로 정확도를 높이면서 티켓당 비용을 4.6센트에서 1센트 수준까지 낮출 수 있다.
7. 5:27
   며칠짜리 에이전트를 위한 하네스 하루 이틀을 넘겨 며칠씩 일하는 에이전트는 샌드박스 장애나 재시작 이후에도 이어갈 수 있어야 하므로, 두뇌 역할의 하네스와 실행 환경을 분리하고 세션 로그를 계속 붙는 기록으로 남겨야 한다.
8. 6:04
   정리 핵심은 오래된 지시를 지우고, 캐시를 살리고, 평가를 잘 설계하고, 과적합을 막으며, 더 똑똑한 모델을 덜 쓰는 방향으로 최적화하는 것이다.

실무 인사이트

• Claude 설정이나 클로드 MD에 남아 있는 오래된 규칙을 정기적으로 audit하면 비용 절감과 품질 개선을 동시에 노릴 수 있다.
• 평가를 만들 때는 학습용·시험용 분리와 과적합 검증을 기본 절차로 넣어야 실제 서비스 성능과 벤치마크 점수의 괴리를 줄일 수 있다.
• 장시간 에이전트는 모델 성능보다도 캐시, 로그, 복구, 권한 분리 같은 하네스 설계가 성공 여부를 좌우한다.