We Let Claude Code and Codex Race Human Researchers — Elie Bakouch, Prime Intellect

한 줄 핵심

Claude Code와 Codex를 실제 연구 환경에서 돌려 인간 기록을 넘게 만들었고, 이 실험은 공개 벤치마크와 다중 에이전트식 발견 루프가 자동화 AI 연구의 핵심임을 보여준다.

시간별 요약

1. 0:00
   자동화된 AI 연구 소개 프론티어 모델이 자동화된 AI 연구 과제에서 얼마나 잘 작동하는지 살펴보며, 이를 연구 엔지니어링 관점에서 다루는 작업의 배경을 설명한다.
2. 0:37
   재귀적 자기개선을 공개적으로 시험해야 하는 이유 재귀적 자기개선이 실제로 얼마나 가까운지 정량화할 벤치마크가 부족하고, 비대형 랩이 만든 공개 벤치마크가 필요하다는 문제의식이 제시된다. AI가 과학 연구를 수행하는 방식을 이해하는 것도 중요하므로, 모델의 연구 능력을 시험하는 환경이 필요하다.
3. 1:52
   Karpathy의 GPT-2 속도런과 modded-nanogpt GPT-2를 매우 짧은 시간 안에 재현하는 speedrun이 커뮤니티의 반복 개선을 통해 더 강한 연구 환경이 되었고, 이를 자동화 연구의 좋은 출발점으로 삼는다. 단순히 속도를 줄이는 경쟁이 아니라 기준 손실에 도달하는 방법 자체를 개선하는 구조가 중요하다.
4. 3:12
   Optimizer Speedrun 이번 실험의 핵심 환경은 architecture 전체를 바꾸는 대신 optimizer 관련 파라미터만 바꿀 수 있는 speedrun이다. 시간 최적화보다 최선의 방법을 찾는 문제에 가깝기 때문에 연구 과제로 더 적합하다.
5. 4:32
   왜 speedrun이 좋은 환경인가 speedrun은 명확한 규칙, 빠른 반복, 점수형 보상 구조를 갖춰 평가와 학습에 모두 유리하다. 기록을 검증할 수 있는 기준이 분명해 자동화된 발견과 검증에 잘 맞는다.
6. 5:32
   Claude Code와 Codex 대 커뮤니티 커뮤니티의 기록에 도전하기 위해 Claude Code와 Codex 두 에이전트를 클러스터에 투입해 반복 실험을 수행했다. 단순 기록 경쟁뿐 아니라 novel ideas만 허용하는 별도 트랙도 두어 모델의 창의적 발견 능력을 보려 했다.
7. 6:52
   구성: goal.md, Slurm, 선점형 작업 goal.md와 에이전트용 규칙 문서를 두고, 에이전트가 sbatch로 작업을 제출해 Slurm 클러스터에서 실행하도록 구성했다. 선점형 권한과 통계적 임계값 검증을 통해 기록 판정을 안전하게 관리했다.
8. 7:46
   Claude는 자주 포기했고 Codex는 멈추지 않았다 Claude Code는 9~10시간마다 멈추며 더 나아갈 수 없다고 판단하는 경우가 많았고, Codex는 거의 쉬지 않고 계속 탐색했다. 같은 목표라도 에이전트의 지속성, 주도성, 질문 빈도가 크게 다르다는 점이 드러난다.
9. 8:36
   스크래치패드, 서브에이전트, 토큰 소모 Codex는 스크래치패드에 더 많은 내용을 쓰고, 더 많은 서브에이전트를 띄우며, 훨씬 많은 토큰을 소비했다. Claude는 기록 갱신에 감정적인 반응이 많았고, Codex는 의사결정과 다음 행동을 더 기계적으로 정리하는 경향이 보였다.
10. 10:21
    결과: 둘 다 인간 기록을 넘었다 Claude와 Codex 모두 대부분의 시점에서 인간 기록보다 좋은 성과를 냈고, 최종적으로 인간 최고 기록을 넘어섰다. 에이전트는 재시작 시 최신 인간 기록을 다시 읽고 그 위에서 추가 개선을 시도할 수 있었다.
11. 11:36
    실제 벤치마크를 향한 세 가지 트랙 진짜 벤치마크로 만들기 위해서는 여러 seed와 공정한 조건이 필요하며, 이를 위해 세 가지 트랙을 구상한다. 모델 가중치만 쓰는 경우, archive paper만 쓰는 경우, 최신 인간 기록까지 쓰는 경우를 분리해 연구 능력을 비교한다.
12. 12:45
    Claude, Codex, Kimi, GLM의 6일 실험 6일간의 반복 실험에서 Claude, Codex, Kimi, GLM 계열 모델의 성능이 비교되었고, 일부 모델은 특정 시점에 돌파구를 만들었다. Claude는 점진적 개선형, Kimi는 한 번에 크게 뛰는 step function형 패턴을 보였다.
13. 13:45
    토큰 기준으로 보면 이야기가 달라진다 출력 토큰 수를 기준으로 보면 성능 순위와 효율성이 달라지고, 일부 모델은 더 많은 토큰을 써서 성과를 냈다. Kimi는 사용 토큰 대비 성과가 특히 효율적이었다.
14. 14:10
    각 모델이 연구 논문을 활용하는 방식 모델마다 논문 검색과 활용 방식이 달라서, 어떤 모델은 다른 모델이 찾지 못한 논문을 찾아 실제 최고 기록으로 이어지게 했다. 단순히 많은 정보를 읽는 것보다 어떤 논문을 어떻게 조합하느냐가 중요하다.
15. 14:35
    새로운 optimizer는 없었다 기대와 달리 완전히 새로운 optimizer나 메커니즘은 나오지 않았고, 대부분 기존 논문의 조합과 한 단계 개선에 그쳤다. 인간 연구자에게는 가능한 문제도 모델에게는 아직 진정한 발견 과제로 남아 있다.
16. 15:40
    AlphaEvolve식 발견 루프 생성기, 평가기, 판단기, 스케일업 단계를 묶은 다중 에이전트 발견 루프가 더 유망한 방향으로 제안된다. speedrun을 단순 평가가 아니라 발견 시스템으로 바꾸고, 인간이 방향을 조정하는 역할을 넣는 구조가 핵심이다.
17. 17:49
    Prime Intellect가 만드는 것 GPU sandboxing, 파일 시스템 기반 에이전트, 프로그램적 툴 사용, 검증용 제품군 등 연구 실행 인프라를 만드는 작업이 진행 중이다. 오픈소스 모델 위에서 효율적인 에이전트를 학습시키고, 다양한 환경에서 평가할 수 있는 도구를 제공한다.
18. 18:54
    왜 이것이 공개적으로 일어나야 하는가 재귀적 자기개선과 AI 연구 자동화는 일부 대형 랩만의 일이 아니라 더 넓은 커뮤니티에서 공개적으로 검증되고 이해되어야 한다. 그래야 더 많은 사람이 모델의 연구 방식을 이해하고 다음 발견에 참여할 수 있다.

실무 인사이트

• 자동화 연구를 평가하려면 단순 정확도보다 기록 갱신, 재시도 지속성, 토큰 효율, 검색·조합 능력을 함께 봐야 한다.
• 에이전트 실험은 모델 성능만으로 끝나지 않으며, goal.md, Slurm, 선점형 권한, 통계적 검증처럼 실행 환경 설계가 결과를 크게 좌우한다.
• 새로운 발견을 원하면 단일 에이전트보다 생성-평가-판단-스케일업이 연결된 루프를 설계하고, 인간은 방향 조정자 역할로 남기는 구성이 유리하다.