The Messy Reality of Scale: Synthetic Data and Pre-Training — Marah Abdin & Robert McHardy, poolside

한 줄 핵심

대규모 모델 스케일링에서는 데이터 믹스, 합성 데이터, 분산 학습의 수치 안정성과 관측성을 함께 다뤄야 하며, 이 네 가지를 정교하게 다듬어야 더 강한 코딩 중심 open weight 모델로 이어진다.

시간별 요약

1. 0:12
   Laguna M, Laguna XS, 그리고 곧 공개될 새 모델로 이어지는 과정에서 데이터와 학습 설계를 함께 바꾸며 스케일 문제를 풀어낸다. 특히 합성 데이터, 웹 데이터 샘플링 개선, 자동 혼합 탐색으로 더 큰 실험을 싸게 돌리는 접근이 핵심이다.
2. 2:01
   합성 데이터는 organic data를 대체하는 수단이 아니라 숨은 구조와 추론 과정을 드러내는 보완 수단으로 쓰인다. pre-training에서 13%를 합성 데이터로 섞었고, 현재는 6 trillion token 규모로 계속 확장 중이다.
3. 3:01
   스케일이 커지자 고품질 데이터의 반복이 모델을 너무 빨리 포화시키는 문제가 드러났고, 이를 줄이기 위해 rephrasing 같은 합성 전략을 강화했다. 더 나아가 code/text 변환, scan data 특화 파이프라인처럼 도메인별 변환을 통해 토큰 다양성을 높였다.
4. 5:00
   합성 데이터 파이프라인은 seeds, metadata, generator, filters 같은 6개 구성요소로 모듈화할 수 있고, 난이도에 따라 저비용 대량 생성부터 복잡한 멀티스테이지 워크플로까지 설계할 수 있다. 어려운 작업일수록 한 번에 생성하지 말고 단계적으로 쪼개야 품질과 다양성이 함께 올라간다.
5. 9:00
   분산 학습에서는 데이터뿐 아니라 코드와 수치 안정성까지 의심해야 하며, replica hash 검사로 GPU 오류, exploding gradients, FP8 race condition 같은 문제를 잡아낸다. Laguna S는 118 billion total parameters, 8B active parameters, 30 trillion tokens, 4,000 GPUs 규모로 학습됐고, 코딩 벤치마크에서 기존 모델보다 강한 성능을 보인다.

실무 인사이트

• 대규모 학습에서는 데이터 품질만 보는 것이 아니라 반복, 수치 정밀도, 커널 안정성까지 함께 점검해야 실제 성능 저하를 막을 수 있다.
• 합성 데이터는 단순 증량용이 아니라 추론 단계 분해, 도메인 변환, 반복 제거를 통해 모델이 배우기 쉬운 형태로 지식을 재구성하는 데 특히 유효하다.
• 코딩 중심 모델을 목표로 한다면 일반 지식 벤치마크보다 agentic coding 관련 평가와 관측 체계를 우선순위로 두는 것이 더 실용적이다.