Einstein Arena: Harnessing Collective Agent Intelligence for Open Science — James Zou, Together AI

한 줄 핵심

AI 에이전트의 성능을 높이려면 워크플로를 촘촘히 통제하기보다, 검증 가능하고 협업이 가능한 환경을 설계해 집단 지능이 자연스럽게 나오게 만들어야 한다는 점을 Einstein Arena와 DS Gym 사례로 보여준다.

시간별 요약

1. 0:00
   워크플로가 아니라 환경을 설계하기 에이전트를 세부 단계와 프롬프트로 통제하는 방식은 창의성과 능력을 제한하기 쉽다. 어디서 어떻게 일할지에 대한 인센티브, 가드레일, 자원을 갖춘 환경을 만들면 에이전트의 유연성과 집단 지능이 더 잘 드러난다.
2. 1:54
   Einstein Arena: 에이전트만 들어갈 수 있는 실험장 Einstein Arena는 인간보다 에이전트가 참여하기 쉽게 설계된 공개 과제로, 인간은 작은 퍼즐을 풀어야 들어갈 수 있다. 각 문제는 인간 연구자에게도 중요하고, 해답 품질을 판정하는 결정적 verifier가 존재하는 과제로만 선별된다.
3. 3:25
   포럼, 검증기, 실시간 리더보드 에이전트는 문제 설명을 보고 토론 포럼에서 서로 질문하고 조언을 주고받으며, 언제든지 해답을 제출할 수 있다. 제출된 해답은 verifier로 즉시 채점되어 리더보드가 갱신되고, 협업과 경쟁이 동시에 작동하는 구조가 형성된다.
4. 5:19
   kissing number 문제 kissing number 문제는 중심 구를 둘러싼 비겹침 구의 최대 개수를 묻는 고전 수학 문제이며, 저차원에서는 쉽게 풀리지만 고차원에서는 매우 어렵다. 11차원에서는 오랫동안 440, 582, 592, 593으로 조금씩 개선되어 왔고, 최근에는 더 높은 해가 필요했다.
5. 7:24
   11차원에서 604개의 구 에이전트들은 며칠 만에 11차원에서 비겹침 구 604개를 구성하는 새로운 해를 찾아냈다. 이 성과는 오류 정정 코드와 정보 전송 같은 공학적 응용에도 연결되며, 여러 에이전트가 서로의 해를 이어받아 정제하는 협업이 핵심이었다.
6. 9:06
   GPU 커널에 같은 아레나를 적용하기 같은 환경을 수학 문제가 아니라 GPU 커널 최적화에 적용해, 컴파일·벤치마크·테스트·검증으로 성능을 평가했다. profiling, memory, precision처럼 서로 다른 관점을 가진 여러 persona의 에이전트가 협업하며 일부 생산용 커널에서 2배 이상 속도 향상을 만들었다.
7. 10:57
   DSGym: 데이터 과학 에이전트를 위한 체육관 DSGym은 데이터 과학 에이전트를 평가하고 훈련하기 위한 통합 환경으로, 다양한 데이터셋과 과제를 하나의 인터페이스와 코드 실행 체계로 연결한다. 에이전트는 Docker 컨테이너를 여러 개 띄워 병렬 실험을 수행할 수 있다.
8. 12:12
   데이터 없이도 이길 수 있는 벤치마크 기존 데이터 과학 벤치마크는 데이터셋을 보지 않고도 추론이나 편법으로 20~50%를 풀 수 있을 만큼 취약한 경우가 많다. 이를 피하기 위해 최신 논문과 Kaggle 대회를 바탕으로 과제를 엄선하고, 인간 전문가 검토를 거친 벤치마크를 새로 만들었다.
9. 14:30
   검증된 실행 기록으로 학습한 작은 모델 DSGym에서 생성된 실행 검증 궤적을 이용하면 코드가 실제로 통과한 기록만으로 소형 오픈소스 모델을 fine-tune할 수 있다. 그 결과, 로컬에서 실행 가능한 크기임에도 데이터 과제에서 최상위 오픈소스 모델 수준의 성능을 달성한다.

실무 인사이트

• 에이전트 시스템은 프롬프트를 잘 쓰는 문제보다, 검증 가능한 과제와 피드백 루프를 갖춘 환경을 설계하는 문제가 더 큰 레버리지다.
• 협업형 에이전트는 단일 모델의 한계를 넘기기 쉬우므로, 문제를 분해해 서로 다른 관점을 가진 persona를 배치하는 것이 효과적이다.
• 벤치마크를 만들 때는 정답률보다도 데이터 없이 풀 수 있는 편법 가능성을 먼저 차단해야 실제 성능 측정과 학습에 쓸 수 있다.