The Base Model Is Dead — Varun Singh, Arcee AI

한 줄 핵심

기존처럼 웹 텍스트로 일반 지식을 채운 base model보다, 이제는 reasoning과 agentic behavior를 위한 사전지식을 설계하는 base model이 더 중요해졌다는 주장이다.

시간별 요약

1. 0:12
   예전의 base model은 대규모 웹 텍스트를 통해 인간 인터넷의 지식을 압축한 일반 지식 저장소에 가까웠고, pre-training이 모델 성능의 대부분을 좌우했다. next token prediction을 통해 세계 지식과 표현을 익히는 구조가 중심이었다.
2. 3:01
   과거에는 post-training이 주로 대화형 형식과 응답 스타일을 다듬는 역할이었고, RL은 성능을 조금 밀어주는 보조 요소에 가까웠다. 하지만 2024~2025년 이후 reasoning 모델과 agent 도구 사용이 부상하면서 RL이 성능을 크게 끌어올리는 핵심 단계로 바뀌었다.
3. 6:03
   최신 학습 레시피는 웹 텍스트의 비중을 줄이고 code, STEM, 대화형/SFT 데이터, 심지어 synthetic data를 pre-training에 다시 끌어오는 방향으로 이동하고 있다. 즉, 일반 인터넷 지식보다 downstream 작업에 바로 연결되는 데이터가 더 중요해지고 있다.
4. 10:01
   synthetic data는 단순 증식용이 아니라, 같은 정보를 다양한 표현으로 반복 노출해 품질을 높이고 instruction·agentic task 형태를 미리 학습시키는 수단으로 쓰인다. 특히 MOE에서는 초반 데이터 분포가 나중의 post-training 분포와 너무 다르면 expert load balancing이 무너질 수 있어, 초반부터 task 분포를 맞추는 것이 중요하다.
5. 13:00
   현재의 핵심 구도는 pre-training, mid-training, post-training의 구분보다 supervised learning과 RL의 조합으로 보는 편이 더 실용적이다. base model은 더 이상 '모든 지식의 저장소'가 아니라, RL에서 쓸 수 있는 atomic skills와 reasoning/agentic priors를 만들어 주는 출발점으로 재정의되고 있다.

실무 인사이트

• 새 모델을 설계할 때는 웹 텍스트 비중을 늘리는 것보다, 목표 사용처에 맞는 reasoning·code·SFT·synthetic data의 비율을 먼저 정하는 편이 효과적이다.
• RL 성능을 끌어올리려면 post-training에서 억지로 보정하기보다, pre-training 단계부터 필요한 행동 형태와 task 분포를 미리 주입해야 한다.
• MOE나 agentic 모델을 다룰 때는 데이터 믹스 변화가 expert 균형과 학습 안정성에 직접 영향을 주므로, 데이터 분포 설계를 모델 아키텍처만큼 중요하게 봐야 한다.