Parameter Golf with AutoResearch — Vayum Arora, Zhengyao Jiang, Dixing Xu & Dhruv Srikanth, Weco AI

한 줄 핵심

이 영상은 자동 연구(autoresearch)가 평가 지표를 기준으로 코드 실험을 반복하며 성능을 끌어올리는 방식과, Parameter Golf·Flappy Weco 같은 실습을 통해 그 루프를 직접 운영하는 방법을 설명한다.

시간별 요약

1. 0:00
   발표자 소개와 자동 연구 루프 자동 연구는 언어 모델에 코드와 재현 가능한 평가 스크립트를 주고, 점수를 높이는 아이디어만 남기는 반복 실험 루프다. 정확도·속도·비용 같은 지표를 대상으로 빠르게 확산됐지만, 올바른 평가에 연결하지 못하면 토큰만 낭비하기 쉽다.
2. 3:35
   워크숍 진행 방식과 Aiden 배경 앞부분에서는 Parameter Golf 사례를 소개하고, 이후 참가자들이 자신의 노트북에서 자동 연구를 직접 실행한 뒤 실행 결과를 보면서 루프 구조를 학습하게 된다. Weco의 Aiden은 ML 문제를 받아 코드 작성, 실험 실행, 결과 해석, 개선을 반복하는 자율 ML 엔지니어링 에이전트로 출발했다.
3. 5:39
   Parameter Golf와 Aiden Parameter Golf는 16MB 안에 모델 가중치와 학습 코드를 담고 10분 안에 학습을 끝내야 하는 오픈 모델 제작 과제다. Aiden은 공개 논문·GitHub·자체 로그를 활용해 아이디어를 제안하고 검증한 뒤 PR까지 자동으로 제출하며, 적은 GPU 자원으로도 다수의 상위 기록과 재사용 가능한 성과를 만들었다.
4. 8:30
   미니 Parameter Golf 실제 대회는 너무 무거워서 워크숍에서 즉시 결과를 보기 어렵기 때문에, 같은 구조를 축소한 mini PG를 사용한다. 작은 데이터셋과 짧은 평가로도 실제 언어 모델을 학습하고 동일한 평가 지표를 최적화하는 루프를 여러 번 직접 확인할 수 있다.
5. 9:37
   Weco, Modal, 그리고 저장소 준비 참가자는 Weco와 Modal에 가입한 뒤 저장소를 복제하고 코딩 에이전트에게 실행을 맡기면 된다. Weco가 검색을 담당하고 Modal이 학습·평가 계산을 맡으며, 설정이 끝나면 백그라운드에서 루프가 돌아가는 동안 잠시 후 결과를 다시 확인한다.
6. 11:10
   자동 연구 실행의 구조 자동 연구에서 가장 먼저 정해야 할 것은 에이전트가 수정할 소스 파일이며, 이것이 탐색 공간을 정의한다. mini PG에서는 solution.py가 모델 설정과 학습 동작을 담고 있어, 어떤 부분을 바꿀지에 따라 탐색의 범위가 달라진다.
7. 12:06
   빠른 평가와 보상 해킹 자동 연구의 핵심은 빠르고 저렴하며 잡음이 적은 평가로, 그래야 제한된 시간과 예산 안에서 더 많은 실험을 돌릴 수 있다. 동시에 에이전트는 평가의 허점을 찾아 점수를 속이려 하므로, 평가 프로토콜을 가능한 한 견고하게 만드는 일이 중요하다.
8. 13:02
   지표와 탐색 예산 정의 무엇을 개선할지와 점수의 방향성(높을수록 좋은지, 낮을수록 좋은지)을 먼저 명확히 해야 한다. mini PG에서는 validation BPB를 낮추는 것이 목표이며, 탐색 단계 수는 사전에 정하기 어려워도 더 많은 아이디어를 시험할수록 돌파구가 나올 가능성이 커진다.
9. 14:25
   시간 제한과 초기 가이드 평가는 반드시 시간 제한을 둬야 하며, 그렇지 않으면 루프가 멈추거나 하드웨어 오류로 전체 실험이 막힐 수 있다. 시작 시점에는 도메인 지식과 경험을 정리한 가이드를 주고, mini PG에서는 압축·양자화·가중치 공유 같은 방향이 유망한 출발점으로 제시된다.
10. 16:31
    구조, 관찰 가능성, 그리고 제어 실전용 자동 연구는 구조화된 탐색 트리, 각 실험의 코드와 점수를 읽을 수 있는 관찰 가능성, 그리고 사람이 개입해 방향을 바꿀 수 있는 제어 가능성이 있어야 한다. 이런 요소가 있어야 아이디어가 누적되고, 실험이 막혔을 때도 사람이 새 방향을 주입할 수 있다.
11. 17:29
    실험 트리 살펴보기 트리 기반 탐색은 루트의 기준 실험에서 시작해, 각 노드가 수정된 코드와 그 점수를 가진 실험 그래프로 확장된다. 좋은 분기는 더 깊게 파고들고 나쁜 분기는 잘라내며, 노드를 열어 변경 내용과 점수 변화를 바로 확인할 수 있어 실험의 원인을 추적하기 쉽다.
12. 19:36
    사람의 아이디어와 연구 돌파구 자동 연구는 단순히 기다리는 방식이 아니라, 커뮤니티와 인간의 아이디어를 흡수하며 함께 전진하는 협업 과정이다. Parameter Golf에서는 몇 날 며칠 정체되던 탐색이 커뮤니티의 새로운 tokenizer 아이디어를 빠르게 흡수하면서 큰 폭의 개선으로 이어졌다.
13. 20:47
    가이드 설정과 실시간 대시보드 실제 설정에서는 저장소의 README를 기반으로 에이전트가 run을 시작하고, 평가 명령은 터미널에 출력된 점수를 통해 루프를 구동한다. 대시보드에서는 실험 트리와 메트릭, 그리고 에이전트의 현재 동작을 함께 보며 진행 상황을 실시간으로 확인할 수 있다.
14. 24:41
    강화학습과 다중 목표 자동 연구는 RL 학습 스크립트에도 적용할 수 있으며, 여러 목표가 있으면 결국 하나의 스칼라 지표로 합쳐야 한다. 가중치를 두거나 일부 지표를 제약으로 두고 하나를 최적화하는 방식이 일반적이며, Parameter Golf처럼 모델 크기를 제약으로 두는 예가 있다.
15. 26:18
    실험 평가와 방향 전환 대시보드에서는 루트 노드와 그 뒤의 개선된 노드를 보며, 어떤 아이디어가 점수를 올렸는지 빠르게 파악할 수 있다. 코드 diff를 직접 열어 확인한 뒤, 양자화처럼 더 공격적인 방향이나 새로운 제약을 명시해 에이전트의 탐색 방향을 다시 잡을 수 있다.
16. 28:46
    Flappy Weco 경쟁 마지막 실습은 Flappy Bird를 자동 연구 문제로 바꾼 Flappy Weco Cup이다. 매 프레임마다 flap 여부를 결정하는 controller를 최적화해 평균 점수를 높이는 것이 목표이며, 가장 높은 점수를 얻는 팀이 승리한다.
17. 30:08
    환경, 검증, 그리고 규칙 이 경쟁은 normal, moving gap, wind, variable의 네 세계에서 평균 점수로 평가되므로 한 환경에만 맞춘 편법은 통하지 않는다. controller.py만 수정할 수 있고, 외부 라이브러리나 파일 I/O는 금지되며, 작은 편집으로 안정성·속도·버퍼 값을 조정하는 식의 개선이 권장된다.
18. 32:30
    과제 안내와 마무리 참가자는 이메일과 팀 이름으로 점수를 제출하고, 워크숍 종료까지 계속 실험을 돌릴 수 있다. 운영진은 부정행위 여부를 확인하면서 질문을 받고, 최종적으로 오늘 배운 자동 연구 루프를 끝까지 실행해 보도록 격려한다.

실무 인사이트

• 자동 연구의 성패는 모델 자체보다도 평가 스크립트의 속도·안정성·보안성에 크게 좌우되므로, 먼저 평가를 작고 재현 가능하게 만드는 것이 가장 중요하다.
• 좋은 자동 연구는 에이전트에게 완전 자율성을 주는 것이 아니라, 트리 구조와 대시보드로 실험을 보이게 하고 사람이 유망한 방향을 재주입할 수 있게 설계할 때 효과가 커진다.
• 실무에서 적용할 때는 단일 목표 점수로 압축한 뒤, 짧은 시간 안에 여러 아이디어를 빠르게 검증하는 형태로 문제를 재정의하면 자동 연구의 장점이 가장 잘 드러난다.