Data and Environment Curation for Post-Training LLMs — Mahesh Sathiamoorthy, Bespoke Labs

한 줄 핵심

이 영상은 LLM과 에이전트의 성능을 끌어올리는 핵심 병목이 결국 데이터와 RL 환경의 품질이며, 이를 체계적으로 큐레이션·평가·반복 개선하는 방법이 post-training의 성패를 좌우한다고 말한다.

시간별 요약

0:12
Bespoke Labs는 기업과 frontier lab이 post-training에 필요한 고품질 데이터와 RL 환경을 확보하도록 돕는 데 집중한다. open-source 작업으로는 curator, Open Thoughts, terminal bench, RL 환경 구축과 커스텀 모델 post-training을 이어 왔다.
2:00
데이터와 RL 환경을 만드는 사람과 이를 소비하는 연구자 사이에는 관점 차이가 있어, 두 역할을 함께 수행할수록 실제 모델 지표를 올리는 데 유리하다. AI 평가는 '무엇을 아는가'에서 '무엇을 할 수 있는가'로 이동했고, 에이전트의 핵심 병목은 장시간 자율 동작에서의 신뢰성이다.
4:02
신뢰성을 높이는 레버는 프롬프트와 하네스 개선도 있지만, post-training이 특히 강력하다. SFT와 reinforcement learning 모두에서 데이터가 병목이며, 기업은 좋은 데이터와 RL 환경이 부족해 성능 개선을 막히는 경우가 많다.
7:02
Open Thoughts는 reasoning data를 체계적으로 큐레이션해 만든 데이터셋이자 논문이며, 소스 질문 선정, 혼합, 필터링, teacher model을 통한 답안 생성, 다중 답안 샘플링을 단계적으로 최적화했다. 실험 결과 데이터 규모를 키워도 성능이 함께 오르는 scaling law가 확인됐고, 더 강한 모델이 항상 더 좋은 teacher는 아니라는 점이 드러났다.
12:00
Open Thoughts Agents에서는 reasoning 모델이 아니라 agent용 데이터와 RL 환경을 큐레이션하며, 소스 혼합·필터링·rollout 생성·teacher 선택을 반복적으로 검증한다. synthetic rewriting은 기대만큼 효과적이지 않았고, SFT가 여전히 큰 비중을 차지했으며, 실전 사례에서는 규칙 준수용 데이터 큐레이션이 latency·throughput·compliance를 동시에 개선했다.
16:01
curator는 Hugging Face 데이터셋이나 실서비스 로그를 입력받아 reasoning data를 쉽게 만들고, Tinker와 Fireworks를 연동한다. 전체 스택은 데이터 큐레이션, RL 환경, sandbox와 checkpointing 같은 실행 인프라, 그리고 SFT·RL·prompt optimization(Japa)까지 한 번에 연결하는 구조로 정리된다.

실무 인사이트

post-training 성능 향상은 모델 자체보다 데이터 품질, 환경 설계, 검증 루프를 얼마나 정교하게 만들었는지에 더 크게 좌우된다.
실무에서는 강한 모델을 teacher로 쓰는 것보다, 과제에 맞는 질문 선별과 다중 답안 샘플링 같은 큐레이션 선택이 더 큰 효과를 낼 수 있다.
기업용 에이전트나 모델을 운영할 때는 정확도뿐 아니라 compliance, latency, throughput까지 함께 최적화하는 데이터 설계가 필요하다.