파인튜닝 가능한 오픈웨이트 모델 | Thinking Machines Inkling 2 Small

한 줄 핵심

Thinking Machines의 Inkling 2 Small은 600B급 오픈웨이트 모델의 학습 방식과 파인튜닝 가능성을 공개해, 거대 모델도 4bit 학습과 짧은 학습 시간으로 실용적 활용 단계에 들어왔음을 보여준다.

시간별 요약

1. 0:00
   Inkling 2 Small: 이름은 Small, 크기는 600B Small이라는 이름과 달리 594B 파라미터, 17B 액티브의 초대형 오픈웨이트 모델이다. 규모만 봐도 단순한 소형 모델이 아니라, 다음 세대 대형 모델의 전조에 가까운 제품이다.
2. 0:22
   첫 사전학습: 8.4T 토큰을 68시간에 Initial Pre-training Phase에서 Language, Code, Image를 섞은 8.4T 토큰을 68시간 만에 학습했다. 통상 월 단위로 생각하던 사전학습이 3일도 안 걸린 점이 특히 인상적이다.
3. 1:20
   NVFP4, 4bit로 학습하는 시대 Natively NVFP4 4bit Floating Point Format으로 학습해, 학습 자체를 4bit로 수행하는 흐름을 보여준다. 600B급 모델도 대규모 GPU 자원 위에서 3일 안에 돌릴 수 있는 시대가 열렸다는 신호다.
4. 2:19
   미드트레이닝·롱컨텍스트·에이전트 데이터 Initial 이후 3.8T 토큰 규모의 두 번째 단계와, Reasoning·Agent Trajectory·Long Context용 320B 토큰 단계가 이어진다. 이후에는 더 높은 품질의 데이터 34B 토큰으로 Agent Trajectory를 학습해 후반 능력을 끌어올렸다.
5. 3:15
   RL: 2,048 GPU로 9일 RL은 1,000스텝, 17M 롤아웃을 9일 동안 수행했으며 2,048 GPU가 투입됐다. 사전학습 첫 단계보다 더 오래 걸릴 정도로 비중이 크고, RL만으로도 3T 토큰이 넘는 규모를 다뤘다.
6. 3:52
   태스크별 롤아웃과 토큰 코딩은 롤아웃 비중과 토큰 사용량이 가장 크고, Vision은 롤아웃에 비해 토큰 비율이 상대적으로 작다. 태스크마다 RL에서 소모되는 토큰 양이 크게 달라서, 실제 운영 비용은 작업 유형에 따라 완전히 달라진다.
7. 4:54
   파인튜닝 적합성: 파인튜닝이 잘 먹는 모델 Fine-tunability를 따로 측정해, 오픈웨이트 모델이 파인튜닝 후에도 잘 유지되는지 평가한다. 과도한 사전학습은 오히려 파인튜닝을 망칠 수 있다는 문제의식이 반영된 지점이다.
8. 6:26
   Tinker: 학습을 파는 회사 Thinking Machines는 모델 제공만이 아니라 Tinker를 통해 학습 서비스 자체를 판매한다. 1B tokens당 Training 가격이 생각보다 높지 않아, 사용자가 자기 목적에 맞게 추가 학습시키는 구조를 전제로 한다.
9. 7:02
   정리: 미국 최고 오픈웨이트? 현재 기준으로는 미국계 최고 수준의 오픈웨이트 모델로 볼 수 있고, 앞으로 더 큰 모델도 기대할 만하다. Thinking Machines가 연속적으로 더 나은 모델을 공개하면, Muse와의 경쟁 구도도 본격화될 가능성이 크다.

실무 인사이트

• 거대 모델 경쟁은 이제 파라미터 크기보다 4bit 학습, 학습 시간, RL 비용 같은 운영 효율로도 판단해야 한다.
• 오픈웨이트 모델은 단순 성능보다 파인튜닝 적합성이 중요하므로, 사전학습을 얼마나 과하게 했는지까지 함께 봐야 한다.
• 모델 배포만이 아니라 학습 서비스까지 묶어 파는 구조는, 기업용 AI 시장에서 점점 더 유력한 사업 모델이 될 수 있다.