An AI Research Agent That Runs Your Experiments — Tim Sweeney, Weights & Biases

한 줄 핵심

ARIA는 W&B와 Weave, Launch, GPU 클러스터를 묶어 실험 실행·요약·분석·평가까지 자동화하는 AI 연구 에이전트이며, 실제 연구 루프를 생산 환경에서 굴리는 방법을 보여준다.

시간별 요약

1. 0:00
   소개 Tim Sweeney가 ARIA를 AI 연구와 반복 작업을 돕는 새로운 에이전트로 소개하고, 청중의 역할에 따라 다른 가치가 있음을 전제로 발표의 방향을 잡는다.
2. 1:28
   일정 ARIA의 기능 소개, 실시간 데모, 내부 아키텍처 공개, 그리고 에이전트를 실제로 운영하기 위한 팁이라는 세 가지 흐름으로 내용을 나눈다.
3. 2:03
   Weights & Biases 소개 Weights & Biases가 모델 학습·추론·분석을 지원하는 AI 개발 플랫폼이며, 특히 작업 데이터를 모아 실행 가능한 의사결정으로 바꾸는 도구라는 점을 강조한다.
4. 2:33
   데모: ARIA 만나기 W&B 워크스페이스에서 200개가 넘는 학습 작업과 손실 감소 그래프를 보며, 기존 실험 화면 위에서 ARIA를 바로 호출해 작업하게 만드는 흐름을 보여준다.
5. 3:13
   Karpathy의 autoresearch 실행 Karpathy Auto Research 프로젝트를 기반으로 ARIA가 긴 대화 맥락을 유지하며 코드 다운로드, launch 작업 설정, GPU 준비, 하이퍼파라미터 반복을 수행하는 모습을 보여준다.
6. 4:33
   실시간 실험 배치 시작 새 실험 배치를 즉석에서 요청하자 ARIA가 큰 구조 변경보다 하이퍼파라미터 조정을 택하고, 셸 호출로 실험 루프를 실제로 실행한다.
7. 5:17
   W&B Launch와 GPU 클러스터 W&B Launch 큐로 컴퓨트 클러스터를 연결해 장시간 실험을 실행하고, Kubernetes 클러스터의 실제 GPU 작업이 현장에서 돌아가는 모습을 확인한다.
8. 5:57
   실험 요약과 패턴 찾기 최고 성능 실험 요약과 패턴 탐색을 통해 새로 들어온 팀원이 프로젝트를 빠르게 이해하거나, 놓친 기간의 연구 흐름을 즉시 따라잡을 수 있음을 보여준다.
9. 7:02
   리포트와 워크스페이스 ARIA가 마크다운 문서처럼 보이지만 차트와 그래프가 포함된 W&B 리포트를 생성하고, 워크스페이스와 고급 패널까지 활용해 시각적 분석을 보강한다.
10. 8:37
    데이터 과학 동반자 요약 ARIA는 실험 수와 팀 규모가 커질수록 사람이 놓치기 쉬운 인사이트를 찾아주는 데이터 과학 동반자이며, 시각적 커뮤니케이션까지 함께 돕는다고 정리한다.
11. 9:17
    iOS에서의 ARIA ARIA가 iOS 앱에 탑재되어, 모바일에서도 하이퍼파라미터 튜닝과 연구 작업을 확인하고 제어할 수 있게 되었다고 알린다.
12. 9:42
    종단 간 자동 연구를 향하여 궁극적으로는 연구자를 대체하기보다 작업 오케스트레이션, 이벤트 대응, 논문 탐색, 가설 협업을 맡는 종단 간 자동 연구 플랫폼을 지향한다.
13. 10:22
    ARIA를 만든 구조 웹·iOS 클라이언트, API 서버, 작업자 하네스, 샌드박스, LLM 제공자, Launch, Weave가 이어지는 구조로 에이전트를 구성하고, 생산 로그와 평가를 연구 루프로 되돌리는 방식을 설명한다.
14. 13:02
    Weave의 에이전트 대시보드 데모 에이전트 대시보드에서 대화량, 토큰, 스팬 구조를 한눈에 보고, 내부 대화를 요약해 노트·피드백·이모지로 태깅하며 행동 패턴을 분석하는 흐름을 보여준다.
15. 14:57
    ARIA가 자기 대화를 분석 ARIA 자체의 대화를 다시 ARIA로 요약·분석해 개선점을 찾는 방식이, UI 안에서 자기 반성과 개선을 반복하는 루프라는 점을 드러낸다.
16. 15:12
    신호: 실시간 트래픽에 대한 LLM 판정 사용자 불만, 낮은 품질 응답 같은 신호를 실시간 트래픽에 대해 LLM 판정으로 감지하고, 어떤 이유로 플래그가 걸렸는지 근거까지 확인한다.
17. 16:07
    단위 테스트로서의 태스크 태스크를 YAML로 정의하고, 정답성·흥미로움·6회 이내 도구 호출 같은 기준을 LLM 판정과 규칙 기반 판정으로 묶어 모델의 단위 테스트처럼 운영한다.
18. 17:17
    야간 평가 매일 밤 실행되는 평가 스위트에서 후보 모델과 운영 모델의 점수를 비교해 승격 여부를 판단하고, 성능 추이를 시각적으로 추적한다.
19. 18:07
    정리 생산 트래픽 수집, 인사이트 생성, 태스크 보강, 모델 구현, 평가를 하나의 공유 대시보드에서 연결해야 팀 단위로 신뢰 있게 다음 모델을 밀어 올릴 수 있다고 정리한다.
20. 18:47
    에이전트 생산화 팁 에이전트 관측성에 투자하고, 태스크와 평가를 CI처럼 운영하며, 사람의 수동 검토를 병행하고, 과도한 하네스 설계보다 도메인 컨텍스트와 도구 제공으로 빠른 성과를 내야 한다.
21. 20:12
    실시간 실행은 기록을 넘겼는가? 실시간 실험 배치는 기존 최고 기록을 아주 근소하게 넘지 못했지만 거의 근접했고, 한 번의 배치에서 12개 실험을 돌리며 밤새 추가 개선을 이어가게 되었다.

실무 인사이트

• 에이전트를 잘 만드는 핵심은 모델 자체보다 실험 실행, 로그 수집, 요약, 평가를 한 루프로 묶는 운영 구조다.
• 실무에서는 실시간 트래픽에서 수집한 행동 신호를 태스크와 평가 항목으로 바로 변환해야, 감각적인 개선이 아니라 반복 가능한 개선이 가능하다.
• 도메인 컨텍스트와 사용 가능한 도구를 충분히 주고, 복잡한 메모리 설계보다 관측성과 평가 체계를 먼저 갖추는 편이 생산화에 더 효과적이다.