Bringing Continual Learning into Enterprises — Samuel Denton, Applied Compute

한 줄 핵심

기업 환경에서 지속적 학습을 성과로 연결하려면, 오프라인 생산 로그로 당장 개선하고 온라인 롤아웃과 힌트를 결합해 계속 상한선을 올리는 distillation 체계를 만들어야 한다.

시간별 요약

1. 0:01
   이 영상은 Applied Compute에서 지속적 학습을 기업에 적용하는 방법을 다루며, distillation을 오프라인에서 온라인까지 이어지는 스펙트럼으로 보고 단계별로 가치를 만든다는 점을 중심으로 전개된다. 핵심은 생산 트레이스와 힌트를 어떻게 결합해 모델을 더 똑똑하게 만들지에 있다.
2. 1:00
   오프라인 생산 트레이스만 있는 경우부터 매일 배치로 학습하는 경우, 그리고 추론과 학습이 합쳐진 완전한 온라인 flywheel까지를 하나의 연속체로 정의한다. 여기에 offline hint와 online hint 축을 더해, 어떤 정보로 teacher를 만들지까지 함께 설계하는 2x2 구조로 문제를 정리한다.
3. 5:00
   오프라인 힌트와 오프라인 트레이스의 조합은 기업이 지금 가진 생산 로그만으로 특정 행동을 개선하는 데 강하다. 특히 SWE-bench 사례에서는 40턴 전에 제출을 유도해도 테스트 성능을 거의 유지하면서 task complete call rate를 크게 끌어올려, 명시적 정답 없이도 행동 교정이 가능함을 보여준다.
4. 14:00
   온라인 트레이스와 온라인 힌트를 결합하면, 생산 중인 모델이 실제로 한 행동에 맞춰 즉시 교정할 수 있어 더 높은 상한선을 만든다. 하이퍼링크 포맷팅 사례에서는 offline hint보다 online hint가 훨씬 큰 개선을 냈고, 분포 밖 행동이라도 롤아웃 맥락에 맞춘 동적 힌트가 더 효과적임을 확인했다.
5. 16:00
   실무적으로는 전체 롤아웃에 뭉뚱그려 학습하기보다, judge로 중요한 시점을 골라 그 다음 몇 step만 정밀하게 distillation하는 편이 효과적이다. 또 relevance mask self-distillation처럼 teacher의 불필요한 토큰 선호를 걸러내야 분포 밖 행동을 학습하면서도 성능 붕괴를 줄일 수 있다.

실무 인사이트

• 기업에서 지속적 학습을 시작할 때는 완전한 정답 데이터가 없어도 되므로, 먼저 생산 트레이스로 특정 행동 하나를 개선하는 오프라인 루프부터 설계하는 것이 효율적이다.
• 오프라인보다 온라인 힌트가 강한 이유는 롤아웃 맥락에 맞는 교정이 가능하기 때문이므로, 운영 중인 에이전트의 실제 행동을 기준으로 힌트를 동적으로 생성하는 구조가 중요하다.
• 학습 신호는 롤아웃 전체보다 행동이 바뀌는 바로 그 시점에 집중해야 하며, 불필요한 토큰까지 학습하지 않도록 마스킹하는 장치가 안정성을 크게 높인다.