Training Your Own Agent Models With RL Is Now Practical - Jason Mancuso, Modal

한 줄 핵심

프로덕션 에이전트가 있다면 이미 RL 학습 환경의 핵심 재료를 갖고 있으며, 적절한 보정 기법과 인프라 설계로 자체 에이전트 모델을 안정적으로 훈련하는 것이 지금은 실용적인 선택이 되었다.

시간별 요약

1. 0:00
   소개 전 세계에 걸친 에이전트 RL 확장을 주제로, 실제 프로덕션 환경에서 강화학습을 어떻게 스케일링할지 다루는 발표다.
2. 0:20
   모델은 정적인 백엔드가 아니다 모델을 단순히 교체 가능한 백엔드로 보는 접근은 비용과 품질만 겨루게 만들 뿐, 에이전트 경험 차별화까지 포함한 경쟁에서는 불리하다.
3. 1:09
   팀이 fine-tuning을 하는 이유 신뢰성 SLO, 사내 고유 데이터 처리, 그리고 스택 전반을 수직 통합해 차별화하려는 요구 때문에 fine-tuning은 점점 더 흔한 선택이 되고 있다.
4. 3:35
   왜 SFT가 아니라 RL인가 에이전트의 분기형 세션 구조에서는 생산 로그만 학습하는 SFT가 취약하지만, RL은 학습 중 여러 분기를 탐색해 더 잘 일반화할 수 있다.
5. 4:46
   이미 필요한 것은 갖고 있다 프로덕션의 agent harness와 평가 체계, 그리고 실패 사례에서 뽑은 실제 작업 데이터만 있으면 RL 환경을 만들 수 있으며, 난이도는 과장된 인식보다 낮다.
6. 6:51
   강화학습의 작동 방식 샘플러가 rollout을 생성하고, 트레이너가 이를 바탕으로 모델을 업데이트한 뒤, 새 가중치를 다시 샘플러에 배포하는 순환 구조로 학습이 진행된다.
7. 7:41
   비동기 RL과 지연 문제 GPU 활용률을 높이려면 샘플링과 학습을 비동기로 병렬화해야 하지만, 이때 오래된 모델로 생성된 rollout과 시스템 수준 불일치가 학습 불안정성을 만든다.
8. 9:38
   안정적인 RL 레시피 GRPO에 masked importance sampling, score centering, top P sampling과 mask replay를 결합하면 토큰 단위 불일치와 누적 드리프트를 보정해 훨씬 안정적인 학습이 가능하다.
9. 12:38
   Modal에서 RL이 다른 이유 Modal은 학습, 추론, 샌드박스 실행을 모두 제공하지만 멀티 프로바이더 구조 때문에 대규모 클러스터 스케줄링이 어렵고, 특히 RL에서는 추론 GPU 비중이 커서 자원 배치가 더 까다롭다.
10. 14:55
    희소한 가중치 업데이트 RL의 실제 업데이트는 매우 희소하므로 델타 압축을 적용하면 트레이너에서 rollout 엔진으로 보내는 데이터량을 크게 줄일 수 있고, 추론 GPU를 클러스터 밖으로 분리할 수 있다.
11. 16:21
    롤아웃에 여러 GPU 유형 섞기 서로 다른 GPU 유형과 quantization을 섞어도, 보정 기법이 불일치를 흡수해 학습 안정성을 유지할 수 있으며, homogeneous 설정에 가까운 성능을 보여준다.
12. 17:56
    롤아웃 비용 15% 절감 고가의 상위 GPU 대신 더 저렴한 GPU로 rollout을 돌리면 전체 학습 비용을 줄일 수 있고, GPU별 추가 최적화를 하면 절감 폭은 더 커질 수 있다.
13. 19:16
    스택을 직접 소유하라 에이전트 경쟁력을 확보하려면 agent harness를 넘어서 학습, 추론, 인프라까지 스택 전반의 역량을 갖추고 직접 통제해야 한다.

실무 인사이트

• 프로덕션 에이전트가 있다면 실패 로그와 평가 체계만으로도 RL 학습용 환경을 구성할 수 있으므로, 별도의 거대한 연구 프로젝트로만 볼 필요는 없다.
• 비동기 RL의 핵심 리스크는 지연과 시스템 불일치이므로, 토큰 단위 보정과 drift 보정을 함께 넣는 설계가 안정성의 관건이다.
• 추론 GPU를 학습 클러스터 밖으로 분리하고 다양한 GPU 유형을 섞어 쓰면 비용을 낮추면서도 성능을 유지할 수 있다.