Scaling up Continual Learning — Ronak Malde, Trajectory

한 줄 핵심

기존 벤치마크 중심 학습과 RL 방식의 한계를 넘기 위해, 실제 사용 로그에서 on-policy로 계속 학습하는 continual learning이 다음 세대 AI 성능 향상의 핵심이라는 주장이다.

시간별 요약

1. 0:01
   최근 AI 발전은 벤치마크를 빠르게 끌어올리는 방식으로 진행됐지만, 점점 더 비싸고 현실과 동떨어진 평가에 의존하게 되었다. 실제 서비스에서 발생하는 방대한 추론 로그를 학습 신호로 삼아야 지속적으로 똑똑해질 수 있다.
2. 3:03
   현재의 SFT, DPO, GRPO는 각각 장점이 있지만, 온라인 분포·on-policy 샘플링·단일 병렬성·토큰 수준 보상이라는 조건을 동시에 만족하지 못한다. 특히 긴 실행과 복잡한 환경일수록 분포 불일치, 인프라 부담, 보상 신호의 거칠음이 심각한 한계로 드러난다.
3. 7:00
   on-policy self-distillation은 고정 데이터 대신 학생 모델의 실제 롤아웃을 사용하고, 여기에 힌트를 넣은 teacher와 힌트 없는 student를 맞추는 방식으로 학습한다. 이 접근은 온라인 작업 분포를 그대로 쓰면서도 단일 샘플로 토큰별로 촘촘한 학습 신호를 제공해 RL의 약점을 크게 줄인다.
4. 13:00
   긴 도구 호출과 장기 추론에서는 teacher가 계속 보정하려 하면서 'wait', 'but', 'maybe' 같은 회피형 토큰이 늘어나는 buttweight 문제가 생긴다. 이를 막기 위해 단계별 KL divergence로 가중치를 다르게 주거나, 힌트 유출을 막기 위해 LLM 필터링과 residual guidance 같은 방법이 필요하다.
5. 19:00
   이 방식은 12B 모델과 100회 이상 tool call이 필요한 작업에서도 성과를 보이며, RL을 넘어서는 결과도 가능하다고 주장한다. Trajectory는 생산 환경의 agent trace를 받아 harness와 모델을 함께 계속 개선하는 플랫폼을 목표로 하며, 진짜 continual learning은 아직 시작 단계라고 본다.

실무 인사이트

• 실무에서는 벤치마크 점수보다 실제 사용자 로그와 실패 사례를 학습 신호로 수집하는 구조가 더 중요하다.
• 장기 추론·도구 사용 작업에서는 전체 보상보다 단계별 신호와 힌트 품질 관리가 성능을 좌우한다.
• continual learning을 하려면 모델만이 아니라 데이터 수집, 인프라, 하네스까지 함께 설계해야 한다.