Adaption Labs: Gradient-Free Continual Learning — Sara Hooker, Adaption

한 줄 핵심

프론티어 AI는 더 이상 일부 대형 연구실만의 전유물이 아니라, 학습·데이터·추론을 함께 자동화하고 컴퓨팅 병목을 줄이는 방식으로 더 많은 사람이 참여할 수 있는 방향으로 재편되고 있다.

시간별 요약

1. 0:01
   과거 과학과 컴퓨터과학의 발견은 매우 좁은 경로를 통과한 소수에게 집중됐고, 프론티어 AI도 박사 과정, 대형 연구실, 막대한 GPU 자원이라는 필터를 거치며 참여자가 제한돼 왔다.
2. 5:01
   Auto Scientist는 모델 학습 자체를 자동화하고 데이터부터 정렬까지 전체 루프를 공동 최적화해, 사람보다 더 넓은 탐색 공간에서 빠르게 성능을 끌어올리는 접근이다.
3. 9:01
   핵심 방향은 고정된 단일 모델이 아니라 환경과 상호작용하며 계속 학습하는 모델로 바꾸는 것이며, 242 languages 지원과 non-verifiable tasks 대응은 그 전환의 실제 적용 사례다.
4. 11:00
   pre-training 규모를 키우는 방식의 수익률은 둔화됐고, 더 작은 모델이 더 큰 모델을 이기는 사례가 늘면서 성능 향상의 중심축이 모델 크기보다 post-training과 더 넓은 최적화 공간으로 이동하고 있다.
5. 14:01
   프론티어 AI의 민주화는 단순한 오픈소스 논쟁이 아니라, 고도의 학습 노하우를 자동화해 더 많은 사람이 질문을 던지게 만들고, agentic compute와 post-training 중심의 비용 구조로 승부를 바꾸는 데 있다.
6. 17:08
   가장 어려운 문제는 파라메트릭 메모리와 비파라메트릭 메모리, 그리고 모델과 하네스의 선택을 장기적으로 함께 최적화하는 것이며, 작은 모델의 자립도는 결국 데이터 품질과 증류 전략에 달려 있다.

실무 인사이트

• 프론티어 AI를 더 넓게 만들려면 모델 성능보다 학습 루프 자동화와 데이터 품질 통제가 먼저 투자할 지점이다.
• 대규모 pre-training에만 예산을 쓰기보다 post-training, 평가, 추론 시점 적응에 컴퓨팅을 재배분하면 비용 대비 성과가 좋아질 가능성이 크다.
• 조직 관점에서는 '좋은 모델'보다 '좋은 질문과 빠른 반복'이 경쟁력이 되므로, 더 많은 실험을 낮은 비용으로 돌리는 체계를 설계해야 한다.