Morgan Stanley's ALPHALAB: Multi-Agent Research Across Optimization Domains — Brendan Rappazzo

한 줄 핵심

Morgan Stanley는 퀀트 연구를 자동화하는 멀티에이전트 하네스 Alpha Lab를 만들었고, 성능 향상의 핵심은 모델 자체보다 평가·환경을 정교하게 설계해 자기개선 루프를 돌리는 데 있다고 주장한다.

시간별 요약

1. 0:01
   팀은 약 30명의 PhD AI 연구자로 구성되어 있으며, 학술 연구와 내부 적용을 병행한다. 시계열 예측처럼 문제 정의가 명확한 퀀트 연구는 더 많은 반복과 탐색을 투입하면 개선 여지가 크기 때문에 자동 연구 에이전트가 잘 맞는다고 본다.
2. 3:00
   Alpha Lab의 목표는 P&L와 생산 배포 가능한 새 알고리즘 수를 늘리는 것이며, 데이터·백테스트·평가 체계와 자연스럽게 통합되도록 설계됐다. 모델 종속성을 줄이고, 데이터셋 설명만 주면 연구부터 실험까지 자동으로 수행하는 범용 하네스를 지향한다.
3. 6:02
   하네스는 연구, 평가 구축, 대량 실험의 3단계로 동작하며, shell access, web search, Slurm 기반 GPU 작업 제출이 핵심 도구다. 별도 에이전트 프레임워크를 쓰지 않고 직접 구현해, 모델·공급자에 독립적으로 동작하고 세부 동작을 자유롭게 조정할 수 있게 했다.
4. 9:00
   연구 단계에서는 할 일 목록과 마크다운 노트를 통해 충분한 맥락을 축적한 뒤 실험에 들어가며, web search로 공개 문헌과 기술 블로그를 적극 활용한다. 평가 단계에서는 builder와 두 critic이 개념적 오류와 프로그램적 오류를 검증해, 잘못된 평가로 최적화가 무너지는 문제를 줄인다.
5. 11:00
   실험 단계는 Jira/Kanban 방식으로 전략 에이전트가 실험 아이디어를 제시하고, worker 에이전트가 구현·GPU 제출·학습 곡선 분석·사후 분석을 수행하는 구조다. 사용자도 카드 추가나 취소, 채팅으로 개입할 수 있고, leaderboard와 private validation으로 성능을 추적한다.
6. 14:01
   초기에는 결과가 좋았지만 실패 사례도 많았고, 1.0 설계의 임의성과 기업 지식 반영 부족이 한계로 드러났다. 이에 따라 2.0에서는 평가와 환경을 더 엄격하게 만들고, 10~20개의 정교한 environment와 rubric으로 행동을 채점하며, LLM이 trace를 보고 하네스 자체를 메타 최적화하는 방향으로 전환했다.

실무 인사이트

• 자동 연구 시스템의 성패는 모델 성능보다 평가 기준의 정확도에 크게 좌우되므로, 먼저 신뢰할 수 있는 private leaderboard와 검증 환경을 설계해야 한다.
• 에이전트 워크플로를 만들 때는 연구-평가-실험을 분리하고, 각 단계의 산출물을 로그와 노트로 축적해 다음 단계가 맥락을 재사용할 수 있게 해야 한다.
• 조직의 고유한 경쟁력은 프롬프트보다 환경·rubric·데이터 배치에 더 많이 담기므로, 장기적으로는 하네스보다 환경 설계 역량을 투자 우선순위에 두는 것이 유리하다.