매번 가장 효율적인 LLM을 선택하는법

한 줄 핵심

여러 LLM을 직접 고르지 말고 라우팅으로 요청 난이도에 맞게 모델을 자동 배치하면, CS 같은 실무 작업에서 정확도는 유지하면서 비용을 크게 줄일 수 있다.

시간별 요약

1. 0:00
   라우팅으로 모델 선택을 자동화하는 이유 여러 회사의 모델을 한 곳에서 쓰고, 요청마다 어떤 모델을 쓸지 자동으로 고르는 라우팅이 핵심이다. 반복 업무에서 일일이 고성능 모델을 쓰는 대신 작업 난이도에 따라 모델을 나누면 효율을 크게 높일 수 있다.
2. 1:00
   키보드 마켓 상담 서비스에 API 연결 키보드 마켓 CS 예시를 만들어 주문 조회, 취소 가능 여부, 환불 계산을 처리하도록 설정했다. 단순 조회는 가벼운 모델에, 묶음 할인과 환불처럼 금액이 걸린 계산은 고급 모델에 보내는 규칙을 먼저 적용했다.
3. 3:01
   오토 라우팅과 커스텀 라우팅의 동작 차이 오토 모드에서는 주문 맥락을 이어받아 자연스럽게 답변이 이어졌고, 관리 화면에는 실제로 어떤 모델이 답변했는지와 로그가 남았다. 커스텀 라우터는 사용자가 정한 규칙대로 모델을 배치하지만, 어떤 이유로 모델이 선택됐는지는 자동 라우팅만큼 투명하게 드러나지 않는다.
4. 6:01
   크레딧과 정답률로 본 효율 비교 12개 문의를 세 방식으로 비교한 결과, GPT 5.6 테라 고정은 411 크레딧, 커스텀 규칙은 349 크레딧, 오토는 70 크레딧으로 가장 저렴했다. 정확도는 오토와 커스텀이 모두 12/12 정답이었고, 테라 고정만 11/12로 약간 낮아 자동 라우팅의 효율성이 확인됐다.
5. 8:00
   스티키 설정과 실무 적용 판단 기준 스티키 설정을 쓰면 대화의 첫 모델을 이후에도 유지하게 만들 수 있어 일관성을 높일 수 있다. 반복 업무가 있다면 오토 라우팅으로 먼저 테스트해 보고, 정확도와 비용이 실제로 개선되는지 확인한 뒤 커스텀 최적화 여부를 결정하는 것이 좋다.

실무 인사이트

• 비용 최적화는 고급 모델을 덜 쓰는 데서 시작되며, 단순 조회·분류·초안 작성은 자동 라우팅으로 충분한 경우가 많다.
• 라우팅 품질은 정답률만 볼 게 아니라 크레딧 사용량, 응답 지연, 로그 추적성까지 함께 비교해야 실제 도입 여부를 판단할 수 있다.
• 모든 규칙을 수동으로 설계하기보다, 오토 라우팅으로 먼저 관찰한 뒤 자주 틀리는 유형만 예외 규칙으로 보강하는 방식이 실무적으로 효율적이다.