토큰사용 줄이면서 품질은 유지하는 4가지 방법 (표철민 AI3 대표)

한 줄 핵심

토큰 비용을 줄이면서 품질을 유지하려면, 큰 모델을 무조건 쓰는 대신 작업별 모델 라우팅·토큰 프루닝·프롬프트 캐싱·결정론적 도구 호출을 함께 설계하고, 그 효과를 이밸루에이션으로 검증해야 한다.

시간별 요약

0:00
2027 AX 전략 컨퍼런스 AX의 초점이 단순한 AI 도입 수량에서 ROI와 성과 측정으로 이동하고 있다. 기업은 이제 얼마나 많이 쓰는지가 아니라 얼마나 효율적으로 가치를 만들고 증명하느냐를 고민해야 한다.
0:26
하이라이트 토큰 절감의 핵심은 작업별 모델 구분, 맥락에 실리는 정보 경량화, 도구 호출 결과물 축소, 캐시와 스마트 라우팅, 그리고 이밸루에이션 강화로 요약된다. 특히 비용이 커지는 지점은 대부분 모델 자체보다 맥락과 도구 호출에서 발생한다.
1:06
토큰을 줄이고 품질을 유지하는 방법 초기에는 결과물 생성이 우선이었지만, MCP 기반 에이전트가 늘고 모델과 호출 비용이 비싸지면서 토큰 효율화가 필수가 되었다. 이미 많은 작업은 플래그십 모델이 아니라 경량 모델과 적절한 맥락만으로도 충분히 처리 가능하다.
5:06
① 모델 라우팅 : 필요한 작업만 경량 모델로 라우팅 필요한 작업만 경량 모델로 보내고, 공시나 DB 조회처럼 단순한 리서치성 작업은 비싼 모델을 쓰지 않는 것이 핵심이다. MCP와 API를 설계할 때도 전체를 던지지 말고 정확히 필요한 데이터만 가져오도록 해야 토큰 낭비를 크게 줄일 수 있다.
7:23
② 토큰 프루닝 : 출력에서 불필요한 토큰 가지치기 도구가 가져온 정보 중 실제로 필요한 부분만 남기는 토큰 프루닝은 맥락을 줄이면서도 품질을 높일 수 있다. 최근 사례에서는 214줄을 14줄로 줄였는데도 결과 품질이 2% 오히려 개선되었고, 코딩 에이전트에서 특히 실용적이다.
9:48
③ 프롬프트 캐싱 : 대화가 길어질수록 중요한 프롬프트 캐시 대화가 길어질수록 프롬프트 캐시를 잘 써야 같은 맥락을 반복해서 다시 읽는 비용을 줄일 수 있다. 중간에 경량 모델로 갔다가 다시 상위 모델로 승격되면 캐시 라이트 비용이 추가로 발생하므로, 라우팅과 캐시 유지 가능성을 함께 판단해야 한다.
12:13
④ 결정론적 도구 호출 : 도구 호출 경로를 제한해야 하는 이유 도구 호출은 모델에게 전부 맡기기보다 경로를 제한해 결정론적으로 설계하는 편이 비용과 예측 가능성 측면에서 유리하다. 스마트 라우터는 이런 판단을 자동화하지만, 실제 품질과 비용 절감을 보려면 반드시 이밸루에이션과 백테스트가 뒤따라야 한다.
15:21
스마트 라우터를 구현하는 세 가지 방식 스마트 라우터는 LRM이 직접 판별하는 방식, 별도의 분류기 모델을 쓰는 방식, 정규식·룰 기반 방식의 세 갈래로 발전하고 있다. 정답은 하나가 아니라 사용 환경에 따라 섞어 쓰는 구조가 현실적이며, 실제 서비스도 이런 하이브리드 형태로 진화하고 있다.
18:21
AI 효율성은 어떻게 평가할까? 효율성 평가는 아직 많은 기업이 본격화하지 못했지만, 미국에서는 모델 교체·프롬프트 변경·MCP 고도화 같은 변수를 바꿔가며 에이전트를 시험하는 서비스가 이미 활발하다. 결국 중요한 것은 품질 저하를 최소화하면서 비용을 얼마나 줄였는지 수치로 보여 주는 것이다.
20:43
AI3가 직접 겪은 토큰 비용 문제 AI3의 실제 경험에서도 고객의 토큰 사용이 늘면 매출은 오르지만, 과도한 비용은 이탈로 이어질 수 있어 프롬프트 캐싱과 토큰 절감 기능이 필요했다. 원가와 고객 예산 사이의 블랙박스를 줄이고, 최신 논문과 현장 문제를 빠르게 제품에 반영하는 태도가 생존의 핵심으로 제시된다.

실무 인사이트

토큰 절감은 모델 선택보다 맥락과 도구 호출 설계에서 더 큰 효과가 나므로, 먼저 API·MCP 응답을 필요한 필드만 반환하도록 줄여야 한다.
경량 모델로 라우팅했다가 상위 모델로 승격되는 흐름은 캐시 비용을 키울 수 있으므로, 라우팅 규칙은 품질뿐 아니라 캐시 재사용 여부까지 포함해 설계해야 한다.
비용 절감이 곧 품질 저하라는 가정은 자주 틀리므로, 실제 운영 데이터로 백테스트를 돌려 품질 손실이 작은 구간부터 단계적으로 전환하는 것이 안전하다.