Scaling to Long Horizons — Ross Taylor & Chengxi Taylor, General Reasoning

한 줄 핵심

장기 과제에 AI를 제대로 쓰려면 더 좋은 모델만이 아니라, 컨텍스트 관리·보상 설계·인프라를 함께 바꿔야 하며, 긴 호흡의 추론은 기술과 운영을 동시에 재설계하는 문제라는 주장이다.

시간별 요약

1. 0:12
   초반에는 GR의 배경과 함께 2020~2023년 언어모델·RL의 흐름을 되짚으며, 좋은 base model만으로는 제품이 되지 않고 RLHF가 LLM을 실사용 단계로 끌어올렸다는 관점을 제시한다. Galactica, InstructGPT, Llama 2/3 사례를 통해 작은 팀이라도 목표와 정렬이 맞으면 큰 성과를 낼 수 있음을 강조한다.
2. 2:03
   Galactica와 ChatGPT의 대비를 통해 RLHF의 가치와 데이터 효율, multi-epoch 학습, 사고 과정(thinking tokens)의 중요성을 설명한다. 단순히 더 큰 모델과 더 많은 토큰이 아니라, 고품질 데이터와 내부 추론을 어떻게 다루느냐가 성능과 제품화의 분기점이 된다고 본다.
3. 7:00
   Llama 2 기반의 내부 실험에서는 수학·과학 데이터로 continued pre-training을 하고, verifiable rewards가 있는 PPO를 적용해 좋은 결과를 얻었지만, R1·O1처럼 강한 추론 시점 스케일링은 나오지 않았다고 정리한다. 결국 더 나은 base model, 더 많은 RL compute, 더 큰 context window가 있어야 장기 추론의 ‘발현’이 일어난다는 점을 강조한다.
4. 10:02
   장기 과제는 엔지니어링 문제가 아니라 인내와 목표 설정의 문제라고 정의하며, 1 million token context window의 한계를 compaction으로 보완하는 접근을 소개한다. 또한 긴 trajectory에서는 gradient variance, sparse reward, credit assignment 문제가 커지므로 value model과 bootstrapping이 유효하지만, 그만큼 복잡도와 bias도 함께 증가한다고 설명한다.
5. 12:01
   Kelly bench 사례에서는 1년짜리 축구 경기 트레이딩 과제를 통해 프런티어 모델들이 모두 초기 자본을 잃는 모습을 보여주며, 현재 모델이 장기·개방형 과제에 취약하다고 지적한다. 원인으로는 코딩·절차형 과제 편중, 현실 시뮬레이션 부족, 다른 행위자와 상호작용하는 환경에 대한 학습 부족을 든다.
6. 14:00
   장기 추론은 compute 운영 방식까지 바꿔야 하며, pipeline RL은 GPU 활용도를 높이지만 off-policy를 감수해야 하는 절충안으로 제시된다. inference가 수주 단위로 길어지면 정책 오차가 커지고, 이를 줄이기 위한 bootstrap은 유용하지만 value model bias라는 또 다른 대가를 만든다. 마지막으로 Open Review 같은 환경 인프라가 장기 과제 실험의 핵심 기반이라고 정리한다.

실무 인사이트

• 장기 과제를 평가하려면 정답형 벤치마크보다 실제 시간·비용·다중 행위자가 포함된 환경을 만들어야 하며, 그렇지 않으면 모델의 한계를 과소평가하기 쉽다.
• 긴 컨텍스트를 그대로 밀어 넣기보다 compaction, archive, self-search 같은 메커니즘으로 기억을 구조화해야 학습과 추론 비용을 함께 줄일 수 있다.
• 장기 RL 시스템은 알고리즘 성능만 보지 말고 off-policy 허용치, value model bias, GPU 유휴 시간까지 함께 최적화해야 실용성이 나온다.