Reinforcement Learning without Verifiable Rewards — Will Brown, Prime Intellect

한 줄 핵심

검증 가능한 보상이 없는 현실 세계 과제에서는 RL을 바로 적용하기보다, 생산 로그·문서·도구 사용 기록을 바탕으로 환경과 판단 기준을 만들어 신호를 제조하고 반복적으로 개선하는 접근이 핵심이다.

시간별 요약

1. 0:13
   전통적인 RL은 명확한 정답이 있는 환경에서는 잘 작동하지만, 실제 업무처럼 목표와 정답이 흐릿한 과제에서는 보상 설계부터가 어렵다. 이런 상황에서는 단순한 정책 최적화보다 현실 데이터로부터 학습 신호를 만들어내는 방법이 필요하다.
2. 2:00
   RL의 기본 구조는 모델과 harness가 environment 안에서 상호작용하고, reward를 바탕으로 policy를 업데이트하는 반복 루프다. 이때 environment와 eval은 사실상 같은 자산으로 볼 수 있어, RL뿐 아니라 SFT, on-policy distillation, prompt optimization에도 재사용할 수 있다.
3. 5:00
   현실 과제는 정답 판정이 모호하고 분포도 미리 알기 어려워 reward hacking에 취약하다. 따라서 목표는 한 번의 최적화가 아니라 배포 후에도 실수를 관찰하고 같은 실수를 반복하지 않도록 학습하는 continual learning 체계를 만드는 것이다.
4. 8:00
   신호를 만드는 핵심 방법은 grounding, judges, search다. 특히 production traces, 문서 코퍼스, 코드 저장소처럼 실제 세계에서 나온 재료를 출발점으로 삼아 작업을 역으로 구성하면, 정답이 보이는 쉬운 문제를 검증한 뒤 어려운 문제를 학습시킬 수 있다.
5. 12:00
   도구 사용과 웹 애플리케이션처럼 백엔드를 직접 통제하기 어려운 영역에서는 simulators를 만들어 실제 환경과 가까운 학습장을 구성하는 것이 중요하다. 여기에 test-time compute와 검색을 더해 판단 기준을 정교화하고, training experiment 자체를 환경 설계에 포함시키면 배포 가능한 agent를 더 안정적으로 개선할 수 있다.

실무 인사이트

• 실무에서는 정답 라벨을 먼저 찾기보다 production traces와 문서·코드 같은 실제 자산을 모아 학습 가능한 환경으로 바꾸는 것이 더 빠른 출발점이다.
• 보상 함수가 애매한 과제일수록 사람의 직관을 직접 코딩하기보다 judges와 rubrics를 만들어 검토 비용을 줄이고, 실패 사례를 지속적으로 누적해 평가 기준을 갱신해야 한다.
• 배포 이후 개선을 목표로 한다면 RL 단독보다 환경 시뮬레이션, 검색, 온라인 학습을 묶어 폐쇄 루프를 설계하는 것이 효과적이다.