Recursive Model Improvement — Lee Robinson, Cursor, SpaceXAI

한 줄 핵심

Cursor는 사용자 피드백·정교한 평가·대규모 컴퓨트·에이전트 자동화를 하나의 반복 루프로 엮어, 모델이 다음 모델을 더 빨리 개선하는 recursive model improvement 체계를 만들고 있다.

시간별 요약

1. 0:01
   Cursor의 모델 학습은 사용자 피드백과 온라인 지표를 바탕으로 다음 학습 데이터를 개선하고, 더 큰 compute로 새 모델을 만드는 순환 구조로 진행된다. 이 과정은 외부 루프와 내부 루프로 나뉘며, 외부 루프는 실제 사용 경험을 반영하고 내부 루프는 더 좋은 eval과 더 어려운 문제를 통해 학습 신호의 질을 끌어올린다.
2. 3:02
   Composer 2.5는 빠르고 똑똑하며 비용 효율적인 모델로 자리 잡았고, Cursor는 이를 바탕으로 더 크고 일반적인 모델을 만들기 위해 전면적인 pre-train, 새 데이터 주입, RL 확장을 추진하고 있다. 특히 agent 사용이 매출과 학습 데이터의 중심이 되면서, 제품 사용 자체가 모델 개선의 재료가 되는 구조가 강화되고 있다.
3. 5:02
   외부 루프에서는 thumbs up/down, 내부 dogfooding, 자동 리포트를 통해 행동 품질을 모으고, 내부 루프에서는 Cursor Bench 같은 비공개 eval로 실제 소프트웨어 엔지니어링 능력을 검증한다. 또한 공개 벤치마크의 reward hacking을 막기 위해 Git history 삭제, 네트워크 allow list 같은 통제가 필요하며, 단순 점수보다 실제 사용 환경에 가까운 평가가 더 중요하다.
4. 9:00
   더 어려운 문제를 만들려면 복잡한 코드베이스에서 일부 기능을 지우고 테스트 실패를 발생시킨 뒤, 모델이 다시 구현하도록 하는 방식이 효과적이다. 긴 rollout을 정밀하게 학습시키기 위해 textual feedback을 사용해 특정 지점의 행동만 교정하고, tool calling이나 스타일 같은 원하는 행동의 확률을 직접 끌어올린다.
5. 12:01
   대규모 compute는 학습뿐 아니라 서빙, A/B 테스트, 데이터·보상 생성, eval 실행, 연구 실험까지 모든 병목을 풀어준다. 여기에 Slack에서 실험을 돌리고 agent가 agent를 돕는 구조, 그리고 더 똑똑한 상위 모델이 judging 모델과 reward model 같은 파생 모델을 개선하는 구조가 더해지면 recursive self-improvement에 가까워진다.
6. 18:02
   결국 핵심은 가장 똑똑한 모델이 학습 시스템 전체의 상한을 결정한다는 점이며, 그 모델이 다음 세대의 평가자·보상자·보조 에이전트를 만들어낼수록 전체 루프가 더 빨라진다. Cursor는 이를 통해 더 많은 compute를 단순히 쓰는 수준을 넘어, 모델이 스스로 학습 체계를 개선하는 방향으로 가고 있다.

실무 인사이트

• 실무에서는 단일 벤치마크 점수보다 실제 사용 로그와 비공개 평가를 함께 설계해야 모델의 진짜 개선 여부를 판단할 수 있다.
• 긴 에이전트 작업을 개선하려면 전체 결과만 보지 말고 tool call, 추론, 중간 상태별로 쪼개서 텍스트 피드백을 주는 방식이 효과적이다.
• 모델 성능 향상은 학습 루프만의 문제가 아니라, 실험 자동화와 파생 모델 운영까지 포함한 시스템 설계 문제로 봐야 한다.