Beyond Static Intelligence: Evaluating Continual Learning — Parth Asawa, UC Berkeley

한 줄 핵심

기존 LLM 평가는 매번 기억을 지우는 전제로 점수만 비교하지만, 이 영상은 연속 학습은 누적 성능이 아니라 학습으로 인한 개선 폭과 비용까지 함께 평가해야 한다고 주장한다.

시간별 요약

1. 0:01
   현재의 LLM 평가는 각 과제를 서로 독립적으로 풀게 만들어, 모델이 이전 경험을 통해 얼마나 좋아졌는지를 거의 보지 못한다. 이런 방식은 매번 기억을 초기화한 채 시험하는 것과 같아서 학습 능력을 측정하기에 부정확하다.
2. 2:01
   Continual learning은 긴 시간에 걸쳐 안정적으로 새 정보를 배우면서도 기존 지식을 잃지 않는 온라인 학습이다. 이를 위해 in-context learning, 외부 memory, 파라메트릭 업데이트 같은 접근이 있지만, 핵심은 어떤 방법이든 연속적으로 학습하는 능력을 제대로 측정해야 한다는 점이다.
3. 5:01
   기존 벤치마크를 단순히 이어 붙이는 방식은 독립적인 문제들 사이에 공유 구조가 없어서 학습 향상을 기대하기 어렵다. 연속 학습 벤치마크는 headroom, shared structure, learning mechanism이라는 세 조건을 만족해야 실제로 온라인 적응을 평가할 수 있다.
4. 8:01
   총 reward만 보면 원래 강한 모델이 유리해서 학습 효과와 기본 성능이 섞여 버린다. 그래서 stateful reward와 stateless baseline의 차이인 gain을 함께 봐야, 이전 경험이 실제로 성능 향상에 기여했는지 분리해서 알 수 있다.
5. 11:00
   데이터베이스 탐색, codebase adaptation, sales prediction, epidemiology 같은 실제 업무형 과제에서 연속 학습을 측정할 수 있다. 개념 드리프트가 있는 환경에서는 과거 지식을 얼마나 잘 유지하고, 동시에 무엇을 잊어야 하는지도 업데이트하는 능력이 중요하다.
6. 14:00
   초기 결과에서는 복잡한 context management 시스템보다 단순한 in-context learning이 reward, gain, cost 측면에서 더 나은 경우가 많았다. 주요 실패 원인은 새로운 정보를 유지하지 못하는 stability 문제와 새 단서를 학습하지 못하는 plasticity 문제로 나뉜다.

실무 인사이트

• 연속 학습을 평가할 때는 절대 점수보다 stateless baseline 대비 gain을 함께 설계해야 실제 학습 효과를 분리할 수 있다.
• 실무 과제 벤치마크는 독립 문제 묶음이 아니라 공유 구조와 개념 드리프트가 있는 시퀀스로 만들어야 모델의 적응 능력을 제대로 드러낼 수 있다.
• 장기적으로는 사후 보정보다, 처음부터 계속 학습하는 전제를 가진 파라메트릭 설계가 더 근본적인 해법일 가능성이 크다.