Data Quality Is the Compute Multiplier — Ari Morcos, DatologyAI

한 줄 핵심

데이터 품질을 높이면 같은 compute로 훨씬 더 좋은 모델을 만들 수 있으며, 데이터 정제·선별·합성·배치 전략이 스케일업보다 더 큰 레버리지를 만든다.

시간별 요약

1. 0:13
   compute와 토큰 사용량이 급격히 부족해지는 환경에서는 더 많은 연산을 쓰는 대신 더 나은 데이터로 성능을 끌어올려야 한다. 데이터 품질은 학습 곡선을 더 가파르게 만들어 같은 compute로 더 높은 성능을 내게 하는 핵심 레버다.
2. 3:01
   최대 신호를 주는 토큰만 남기려면 용도에 맞는 관련성, 다양성, 정보량, 데이터 혼합이 모두 중요하다. 법률 모델과 의료 모델의 최적 데이터가 다르듯이, 범용 정답 데이터셋은 없고 목적에 맞게 데이터를 선별·배합해야 한다.
3. 4:01
   DatologyAI는 기존 토큰을 더 가치 있게 만드는 정제 공장처럼 작동하며, clean·curate·create·compose의 4단계로 데이터 품질을 끌어올린다. 단순 필터링과 benchmark decontamination을 넘어서 중복 제거, 품질 분류, 리샘플링, task distribution matching, synthetic data, 학습 단계별 curriculum까지 포함한다.
4. 7:01
   데이터 큐레이션만으로도 VLM과 텍스트 모델에서 큰 성능 향상이 나타난다. 같은 데이터라도 잘 고르면 benchmark를 크게 앞서고, 훨씬 적은 training compute로 비슷하거나 더 좋은 성능을 내며, 비영어권 성능과 cross-lingual 전이도 개선된다.
5. 12:02
   synthetic data는 임의 생성이 아니라 고품질 문서를 다양한 형식으로 rephrasing하는 방식이 효과적이다. 또한 모든 문서가 재구성에 적합한 것은 아니므로, 좋은 원천 문서를 골라 다양성을 늘려야 model collapse 없이 학습 효율을 높일 수 있다.
6. 14:00
   실전 사례에서도 데이터 품질의 효과는 분명하다. Thompson Reuters는 mid-training으로 legal capability를 끌어올리면서 일반 성능 저하를 막았고, RCI는 17 trillion tokens를 정제해 open frontier에 맞먹는 모델을 2000만 달러 미만으로 만들었다.

실무 인사이트

• compute가 부족할수록 먼저 늘릴 것은 토큰 수가 아니라 토큰당 정보량이므로, 중복·저품질 데이터를 줄이고 고품질 데이터를 반복 노출하는 전략이 우선이다.
• 도메인 모델을 만들 때는 도메인 데이터만 밀어 넣기보다 pre-training 분포를 함께 유지해야 catastrophic forgetting을 줄이고 post-training 효율까지 높일 수 있다.
• 데이터 품질 작업은 단발성 전처리가 아니라 평가·선별·합성·학습 스테이지 설계를 함께 묶는 연구 문제로 봐야 하며, 규모가 커질수록 더 큰 비용 절감 효과가 난다.