'너무 오래 걸려, 토큰 너무 많이 써, 너무 자주 물어봐'...해결하려면? (강수진 박사)

한 줄 핵심

추론 모델 시대에는 길고 상세한 프롬프트보다 목표·성공 기준·종료 조건을 명확히 하고, 모델별 성향에 맞게 프롬프트 구조와 추론 강도를 조절해야 토큰과 시간을 아낄 수 있다.

시간별 요약

1. 0:00
   하이라이트 추론 모델이 대중화되면서 예전처럼 상세하게 길게 쓰는 프롬프트는 효율이 떨어지고, 목표와 성공 기준을 먼저 정하는 방식이 중요해졌다. 최신 미국·중국 모델의 성능, 속도, 비용 차이와 함께 토큰을 덜 쓰면서도 결과를 잘 얻는 프롬프트 전략이 핵심 화두로 제시된다.
2. 4:21
   AI 모델 선택의 3대 기준: 성능·속도·비용 모델 선택은 성능만이 아니라 속도와 과업당 비용까지 함께 봐야 하며, 경량 모델은 빠르고 고성능 모델은 느린 경향이 뚜렷하다. 미국 모델은 성능 상한을 끌어올리고 중국 모델은 가격 하한을 낮추는 구조로 시장이 재편되고 있다.
3. 9:41
   미·중 대표 AI 모델별 강점 비교 Claude Opus 5, GPT 5.6, DeepSeek V4, Kimi K3, GLM 5.2, QN 등은 각각 성능, 가격, 장기 작업, 코딩, 한국어 처리 등에서 서로 다른 강점을 가진다. 특히 중국 모델은 가성비와 장기 수행력에서 강하고, 미국 모델은 고성능과 정교함에서 강한 흐름이 확인된다.
4. 22:02
   추론 모델 시대, 옛 프롬프트는 끝났다 추론 모델은 내부에서 이미 여러 번 생각하고 검토하므로, 예전처럼 '더 깊게 생각하라'는 지시는 거의 의미가 없다. 이제는 모델이 무엇을 달성해야 하는지, 어떤 상황인지, 언제 멈춰야 하는지를 더 직접적으로 알려주는 방식이 더 효과적이다.
5. 26:17
   성공 기준과 종료 조건을 먼저 써라 추론 모델에는 목표뿐 아니라 성공 기준과 조기 종료 조건을 함께 줘야 불필요한 장기 추론을 막을 수 있다. 승인이 필요한 일과 자동으로 진행해도 되는 일을 나누고, 결과물에는 다시 검토보다 근거 제시를 요구하는 편이 적합하다.
6. 32:40
   추론 강도 조절과 3종 모델 비교 실험 같은 프롬프트라도 추론 강도 설정에 따라 결과와 비용이 크게 달라지며, 미국·중국 모델은 조절 옵션의 세분화 수준도 다르다. 미술관 전시 웹사이트 생성 실험을 통해 모델별 출력 성향과 속도, 완성도 차이가 실제로 드러난다.
7. 38:15
   미국·중국 모델, 프롬프트가 다른 이유 미국 모델은 범위 제한, 조기 종료, 승인 여부 구분, 근거 요구처럼 실행 경계를 명확히 하는 프롬프트가 잘 맞는다. 중국 모델은 시스템 메시지보다 사용자 메시지에 지침을 넣고, 예시는 줄이며, 지시문은 뒤에 배치하는 방식이 더 안정적이다.
8. 44:54
   Claude와 GPT, 프롬프트는 어떻게 달라야 하나? Claude 계열은 장기 탐색과 롱턴에 강해 과한 실행을 줄이는 방향의 제약이 중요하고, GPT 5.6은 목적과 성공 기준을 더 정확히 주는 방식이 잘 맞는다. 둘 다 중간 보고와 근거 제시를 요구하면 장기 작업의 안정성이 높아진다.
9. 52:54
   DeepSeek 프롬프트: 예시는 줄이고 지시는 뒤에 DeepSeek는 시스템 프롬프트 대신 사용자 메시지에 지침을 넣는 쪽이 권장되고, 예시가 많으면 답변이 예시에 고정되는 편향이 생길 수 있다. 100만 토큰 컨텍스트를 쓸 때는 자료와 지시를 구분해 표시하고, 마지막 줄에 핵심 지시를 넣는 방식이 유리하다.
10. 56:32
    Kimi K3의 과잉 행동 제어법 Kimi K3는 토큰을 많이 생성하고 자의적으로 해석하는 경향이 강해, 모호할 때는 먼저 질문하게 만들고 과잉 실행을 억제해야 한다. 출처를 명시하게 하고, 없으면 없다고 말하게 하는 지침이 환각과 과잉 행동을 줄이는 데 도움이 된다.
11. 59:17
    GLM 5.2는 실행 전 계획부터 GLM 5.2는 작업을 시작하기 전에 먼저 계획을 말하게 하고, 사용자가 그 계획을 검토한 뒤 실행을 허용하는 구조가 잘 맞는다. 코드베이스처럼 큰 맥락을 다루는 작업에서는 자료와 지시를 구분하고, 모델이 너무 많은 출론을 태우지 않도록 먼저 무엇을 할지 확인하는 방식이 효과적이다.
12. 1:04:00
    추론 모델 프롬프트 최종 정리 추론 모델 프롬프트의 핵심은 목표, 성공 기준, 종료 조건, 중간 보고, 근거 제시를 명확히 두는 것이다. 예시는 로컬 정보에 한정해 최소화하고, 모호하면 멈추게 하며, 중간에 진행 상황을 확인하는 방식으로 과잉 추론을 제어해야 한다.

실무 인사이트

• 추론 모델을 쓸수록 프롬프트는 길어지기보다 더 짧고 정확해져야 하며, 특히 '언제 끝낼지'를 명시하는 습관이 토큰 낭비를 크게 줄인다.
• 모델별 차이는 성능보다도 실행 성향에 더 크게 나타나므로, Claude 계열은 범위·종료 제어, GPT 계열은 성공 기준·맥락 보강, 중국 모델은 지시 위치·예시 최소화로 나눠 대응하는 것이 실용적이다.
• 실무에서는 한 모델에 최적화하기보다, 작업 성격에 따라 고성능 모델과 가성비 모델을 섞어 쓰고 프롬프트 구조를 표준화하는 편이 비용 대비 효율이 높다.