Scaling Compute on Context — Jack Morris, Engram

한 줄 핵심

이 영상은 공개 데이터에만 의존하는 기존 LLM 한계를 넘어, 개인·조직의 비공개 문맥에 대해 컴퓨트와 반복 학습을 확장하는 'scaling compute on context'가 차세대 지식 획득 방식이라고 주장한다.

시간별 요약

1. 0:01
   발표 주제는 'scaling compute on context'이며, 이는 모델이 공개 지식은 잘 다루지만 개인·조직의 새로운 맥락은 학습하지 못하는 근본 한계를 다루는 문제로 제시된다. 폭넓은 지식은 있지만 깊이가 부족한 AI와, 깊지만 범위가 좁은 인간 전문가의 대비를 통해 이 문제가 왜 중요한지 설명한다.
2. 4:01
   이 문제는 continual learning, neural memory, write time compute 등 여러 이름으로 불리지만 아직 패러다임이 굳지 않았다고 정리된다. 핵심은 모델이 학습 이후에도 새로운 정보를 개인화된 방식으로 획득해야 하며, 이를 위해서는 공개 데이터 중심의 기존 스케일링에서 벗어나야 한다는 점이다.
3. 7:00
   출발점은 고정된 데이터 예산과 사전학습 모델이다. 데이터 양을 늘리기 어렵다면 남는 축은 compute뿐이므로, 문제는 주어진 D에 대해 더 깊은 θ를 만드는 방법으로 재정의된다.
4. 10:00
   직접 next token prediction으로 D를 학습하는 방식은 수렴 후 일반화가 무너져 실용적이지 않다. context 압축, on-policy distillation, synthetic pre-training, RL 같은 대안도 제시되지만, 결국 한 번 학습 가능한 데이터셋의 상한에 부딪혀 추가 compute가 더 깊은 지식으로 이어지지 못한다.
5. 16:00
   진짜 필요한 것은 모델이 스스로 더 어려운 학습 데이터를 만들며 점진적으로 향상되는 self-improvement 루프다. Ngram은 이메일이나 업무 문맥처럼 개인화된 데이터에서 모델이 반복적으로 더 나은 내부 세계모델을 형성하도록 만드는 연구를 하고 있으며, 이 과정이 'context 위에서 compute를 확장하는' 핵심이라고 마무리한다.

실무 인사이트

• 개인·조직용 AI는 단순 검색형 RAG를 넘어, 학습이 반복될수록 더 어려운 과제를 스스로 생성하는 구조가 필요하다.
• 비공개 문맥을 다루는 제품은 데이터 수집보다도, 학습 후 성능이 계속 오르는 루프 설계가 경쟁력이 된다.
• 실무에서는 '모델이 무엇을 아는가'보다 '추가 compute를 넣었을 때 더 깊게 이해하게 만들 수 있는가'를 설계 기준으로 삼아야 한다.