Modern Post-Training: A Deep Dive — Will Brown, Prime Intellect

한 줄 핵심

이 영상은 현대적 post-training을 환경·하네스·런타임·오케스트레이터로 분해해, 평가부터 RL·SFT·distillation·배포까지 하나의 재사용 가능한 파이프라인으로 묶는 방법을 설명한다.

시간별 요약

1. 0:12
   Prime Intellect의 post-training 스택과 목표가 소개된다. 오픈소스 모델을 실제 업무와 제품에 맞게 더 잘 쓰도록, 대규모 연구 인프라와 함께 학습·평가·배포를 한 흐름으로 연결하는 방향이 핵심이다.
2. 6:00
   환경(environment)은 단순한 RL용 장치가 아니라, 데이터·시나리오·상호작용 규칙·채점 기준을 담는 공통 언어로 정의된다. 평가(evals)와 post-training이 같은 단위를 공유하므로, 환경을 잘 설계하면 모델 선택, 프롬프트 최적화, RL, SFT 데이터 생성까지 자연스럽게 이어진다.
3. 10:00
   Verifiers V1은 환경을 task set, harness, runtime으로 분해해 재설계한 것이 핵심이다. task set은 agent-agnostic한 데이터와 규칙, harness는 CLI agent나 recursive LM 같은 실행 방식, runtime은 Docker·sandbox·로컬 실행을 담당하며, 이 분리로 평가와 학습이 같은 구조를 공유하게 된다.
4. 17:00
   보상과 메트릭, group reward, 사용자 시뮬레이터, interception server, trace graph, renderers 같은 구성요소가 현대적 agent 학습의 세부 문제를 해결한다. 특히 길이 패널티·간결성 보상처럼 여러 샘플을 비교해 최적 행태를 유도하는 설계와, token space와 message space를 분리해 다루는 구조가 중요하게 다뤄진다.
5. 29:00
   Primer RL은 async RL을 전제로 한 오케스트레이션 계층으로, inference와 trainer를 분리해 느린 rollout에 전체 학습 속도가 묶이지 않도록 한다. DPPO, on-policy distillation, self-distillation, GRPO 같은 알고리즘을 loss와 algorithm 레벨로 추상화해, 환경과 인프라를 바꾸지 않고도 다양한 post-training 방식을 조합할 수 있게 만든다.
6. 42:01
   호스티드 학습 플랫폼은 multi-tenant Laura를 먼저 제공하고, 곧 full fine-tuning까지 확장한다. 사용자는 GPU 운영을 직접 신경 쓰지 않고도 환경 패키지, 보상 함수, 알고리즘, 학습 설정을 단계적으로 조정하며 대규모 실험을 빠르게 반복할 수 있다.

실무 인사이트

• post-training을 시작할 때는 먼저 환경과 eval을 설계하면, 그 결과를 그대로 RL·SFT·distillation로 재사용할 수 있어 중복 구현을 크게 줄일 수 있다.
• 긴 추론과 다양한 rollout 시간이 섞이는 agent 작업에서는 async 구조가 학습 효율을 좌우하므로, inference와 trainer를 분리하고 off-policy 허용 범위를 관리하는 것이 중요하다.
• 실무에서는 correctness만 보지 말고 group reward로 간결성, 비용, 사용자 상호작용 품질까지 함께 최적화해야 실제 제품 성능이 안정적으로 올라간다.