토큰맥싱 위해 좌충우돌 했던 회사들이 요즘 하는 것 (표철민 AI3 대표)

한 줄 핵심

기업 AI는 이제 토큰을 많이 쓰는 단계에서 벗어나, MCP와 워크플로로 내부 데이터를 정확히 연결해 비용을 줄이면서도 실제 업무 성과를 내는 단계로 이동하고 있다.

시간별 요약

1. 0:00
   초기에는 AI 사용량을 늘리는 데 관대했지만, 지금은 토큰 사용량이 급증하면서 비용 대비 성과를 따지는 시대로 바뀌고 있다. 단순히 많이 쓰는 것보다 얼마나 가치가 창출되는지가 핵심 기준이 됐다.
2. 3:02
   기업 도입 초반에는 첫 주 트래픽이 급증하지만 곧 실제 활용 수준으로 수렴하며, 망분리 여부와 업무 성격에 따라 사용량 차이도 크게 난다. AI를 잘 쓰는 회사는 이미 개인 결제로 쓰던 직원들이 회사 도입을 계기로 더 적극적으로 활용하는 경우가 많다.
3. 6:00
   이제는 단순 질문 응답보다 법제처, 공공 데이터, 사내 문서까지 연결해 더 정확한 답을 만드는 활용이 중심이다. 그 결과 입력은 짧아도 내부적으로는 훨씬 많은 토큰과 도구 호출이 발생하고, 사용량은 구조적으로 늘 수밖에 없다.
4. 11:02
   초기의 토큰 맥싱은 개발팀 중심의 무제한 활용에서 시작됐지만, 지금은 구체적인 업무 프로세스를 개선하는 방향으로 바뀌고 있다. 추상적인 AI 교육보다 어떤 도구로 어떤 업무를 얼마나 효율화할지 제시하는 컨설팅형 접근이 더 중요해졌다.
5. 16:00
   실제 기업 적용에서는 여러 MCP 도구와 사내 데이터를 연결해 에이전트를 만들고, 이를 다시 워크플로로 오케스트레이션하는 방식이 확산되고 있다. 다만 자유롭게 맡기면 경로가 매번 달라져 토큰 낭비와 결과 불일치가 생기기 때문에, 경량 LLM이 먼저 워크플로를 짜고 큰 모델이 실행하는 구조가 효과적이다.
6. 21:00
   빅데이터나 데이터 레이크를 미리 구축한 회사는 MCP를 붙이기만 하면 AI 활용이 빨라지고, 그렇지 않은 회사는 지금부터 데이터 정비가 필요하다. 과거 RAG의 한계를 겪고 실망했던 경험도 있었지만, 이제는 DB 쿼리와 MCP 연동, 향상된 모델 성능 덕분에 사내 AI 활용이 본격화되고 있다.

실무 인사이트

• 사내 AI 도입은 사용량 목표보다 비용 대비 업무 성과 목표로 재설계해야 하며, 첫 주 트래픽 같은 단기 지표에 과민하게 반응하지 않는 것이 중요하다.
• 정확도와 일관성이 필요한 업무는 LLM 단독 실행보다 경량 LLM으로 워크플로를 먼저 만들고, MCP로 데이터 조회를 분리하는 구조가 더 안정적이다.
• AI 활용도를 높이려면 모델보다도 데이터 중앙화, 권한 설계, MCP 연결 가능성부터 점검해야 하며, 이미 정비된 데이터 자산이 있는 조직이 훨씬 유리하다.