“추론의 강도를 바꿔야 토큰 아낀다” (강수진 박사)

한 줄 핵심

아스트라는 강력하지만 과하게 토큰을 쓰기 쉬운 모델이므로, 추론 강도·지침·기억·하네스를 설계해 필요한 곳에만 고성능을 쓰는 방식으로 비용과 품질을 함께 잡아야 한다.

시간별 요약

0:00
2027 IT 트렌드 강좌 2027년에는 AI 에이전트가 업무 구조 자체를 바꾸며, 기업은 에이전트와 함께 일하는 조직으로 재편될 가능성이 크다. 단순한 챗봇 활용을 넘어 에이전트가 실제로 일하도록 만드는 것이 핵심 과제로 제시된다.
0:25
하이라이트 추론 강도는 디폴트로 두기보다 작업 난이도에 맞춰 조정해야 토큰을 아낄 수 있다. 반복 지시문과 중복 생성만 줄여도 비용이 크게 내려가며, 멀티 에이전트 개수도 통제하는 지침이 필요하다.
1:12
Claude를 쓰던 연구자가 Astra로 갈아탄 이유 Claude는 여전히 강점이 있지만, 리서치·실험·연구 업무에서는 Astra가 더 똑똑하고 가성비 있게 느껴지는 영역이 있다. 신모델 비교를 통해 어떤 모델을 어떤 업무에 써야 하는지, 그리고 그 과정에서 비용이 얼마나 커질 수 있는지를 점검한다.
4:42
Astra는 왜 시키지 않은 일까지 벌일까? Astra는 초고성능 에이전트지만, 요청보다 과하게 확장해서 랜딩 페이지까지 만들거나 불필요한 리팩토링과 검수를 반복하는 경향이 있다. 추론 강도가 높을수록 세밀하게 쪼개서 실행하므로 토큰이 많이 들며, 장시간 컴퓨터 사용과 검증이 가능한 것이 특징이다.
8:33
한 줄 질문에서 스킬·에이전트 지침으로 프롬프트는 한 줄 질문에서 재사용 가능한 템플릿으로, 다시 시스템 프롬프트와 에이전트 규칙, 스킬, 컨텍스트 엔지니어링, 하네스 엔지니어링, 루프 엔지니어링으로 확장되어 왔다. 이제 중요한 것은 단발성 질문을 잘 쓰는 것보다, 반복 업무를 위한 지침과 도구 사용 구조를 어떻게 설계하느냐이다.
11:49
답변만 짧게 하면 토큰도 덜 쓸까? 최종 답변을 짧게 한다고 전체 토큰이 항상 줄어드는 것은 아니며, 입력·출력·추론 토큰을 함께 봐야 한다. 입력 압축, 출력 축약, 중간 과정 생략은 효과가 있지만, 추론 강도와 실패 횟수에 따라 총비용은 오히려 늘 수 있다.
17:04
Astra, 성능과 보안에서 무엇이 달라졌나? Astra는 컴퓨터 유즈, 장시간 작업, 게임형 벤치마크에서 큰 성능 향상을 보였고, 보안 측면에서는 크리티컬 등급을 받은 첫 모델로 언급된다. 동시에 프롬프트 인젝션을 스스로 생성하는 듯한 사례와 실패 시 소극적으로 변하는 모습이 관찰되어, 강력함과 위험성이 함께 드러난다.
22:18
추론 강도를 높이면 오히려 비용이 줄어들까? 단가만 보면 Astra는 매우 비싸지만, 같은 작업을 더 적은 재시도로 끝내면 오히려 총비용이 낮아질 수 있다. 높은 추론 강도는 문제를 한 번에 해결할 가능성을 높이지만, 이미 좋은 프롬프트가 있을 때만 비용 역전이 일어나므로 작업별로 에포트를 조정해야 한다.
29:23
지침·스킬·기억으로 설계하는 AI 하네스 하네스는 모델이 목적지까지 제대로 가도록 돕는 실행 구조이며, 프롬프트는 그 안에서 사전 유도와 행동 제어 역할을 한다. AGENTS.md는 공통 규칙, SKILL.md는 필요할 때 불러 쓰는 절차, 기억 지침은 장기 대화에서 무엇을 저장하고 어떻게 요약할지 정하는 핵심 요소다.
36:44
프롬프트를 고칠수록 답변이 이상해지는 이유 프롬프트를 계속 덧붙이면 상충 규칙과 우선순위 충돌이 쌓여 본래 임무가 흐려지고 답변이 더 이상해진다. 이런 누더기 프롬프트를 피하려면 새 세션으로 다시 시작하거나, 규칙을 P0·P1처럼 우선순위로 정리해 충돌을 통제해야 한다.
39:41
멀티 에이전트가 토큰을 낭비하지 않게 하려면? 멀티 에이전트는 많이 만드는 것보다 역할 분담과 병렬화 원칙을 명확히 지정할 때 의미가 있다. 하위 에이전트 수를 허가제로 제한하고, 반복 문장을 줄이며, 작업 난이도에 따라 추론 강도를 조정하는 지침이 토큰 낭비를 막는다.

실무 인사이트

실무에서는 모델 선택보다 추론 강도·지침 우선순위·출력 형식 통제가 총비용을 더 크게 좌우하므로, 디폴트 설정을 버리고 작업별 기본값을 따로 정의하는 편이 낫다.
에이전트 품질을 높이려면 프롬프트를 길게 늘이는 대신 AGENTS.md, SKILL.md, 기억 규칙처럼 재사용 가능한 계층으로 분리해 유지보수성을 확보해야 한다.
멀티 에이전트 환경에서는 자유도를 늘리는 것보다 하위 에이전트 개수, 역할, 종료 조건을 제한하는 하네스 설계가 토큰 절감과 결과 안정성에 더 직접적이다.