How We Built an Agent That Improves Itself — Zubin Aysola, Weights & Biases

한 줄 핵심

ARIA는 production trace를 offline eval로 되돌리고 같은 에이전트를 계속 재평가·수정하는 하네스와 루프를 통해 스스로를 개선하는 시스템이다.

시간별 요약

0:00
ARIA 구축 소개 Weights and Biases에서 만든 ARIA 에이전트와, 이를 어떻게 평가하고 자기개선 루프에 올려두는지에 대한 전체 구조를 소개한다.
0:51
왜 자체 에이전트 하네스가 필요한가 모델과 도구 호출 방식에 따라 성능이 크게 달라지므로, 단순히 모델을 자유롭게 두는 대신 자체 하네스를 만들어 일관된 실험과 연구를 해야 한다.
1:31
벤치마크, 평가, 에이전트는 함께 변한다 벤치마크와 평가는 에이전트 설정 변화와 함께 움직이기 때문에, production과 offline 양쪽에서 같은 기준으로 측정해야 실제 성능을 정확히 볼 수 있다.
2:06
production과 offline 추적용 Weave Weave를 통해 production과 offline trace를 같은 형식으로 기록하고, production에서 얻은 trace를 offline 환경으로 가져와 개선의 출발점으로 삼는다.
2:56
ARIA가 자기 자신을 자동 연구하는 라이브 데모 ARIA에 자기 연구를 시켜 코드베이스를 기준으로 학습·평가 작업을 돌리고, production trace를 검토해 새로운 task와 변형을 생성하는 과정을 보여준다.
3:40
production trace를 eval task로 바꾸기 실제 production 대화를 offline eval task로 옮겨와 candidate와 production 에이전트를 같은 조건에서 비교하고, 그 결과를 다시 Weave에 기록한다.
4:50
야간 CI 평가 매일 밤 돌아가는 CI 평가로 여러 후보 에이전트의 상대 성능을 장기적으로 추적하며, 깨진 평가나 퇴행도 빠르게 감지한다.
5:15
시뮬레이션 환경 구축 강화학습보다는 프롬프트와 스킬 설계에 더 가깝지만, 현실과 닮은 시뮬레이션 환경을 만들어 에이전트가 어떤 조건에서 잘 작동하는지 검증한다.
5:50
production과 연구에서 동일한 에이전트 연구용과 운영용 코드를 사실상 동일하게 유지하고, 4시간 단위 동기화로 drift를 줄여 같은 에이전트를 두 환경에서 비교 가능하게 만든다.
6:40
많은 trace 생성하기 에이전트의 성능은 많은 trace를 쌓아야 보이기 때문에, 최대한 많은 롤아웃을 만들고 그 안에서 행동 패턴과 실패 원인을 찾아낸다.
7:15
모델에 구애받지 않는 하네스와 YAML 변형 여러 모델을 같은 방식으로 시험할 수 있도록 하네스를 추상화하고, YAML로 다양한 구성 변형을 정의해 병렬 실험을 쉽게 만든다.
8:04
제약 없는 샌드박스 에이전트가 병렬 실행이나 새로운 행동을 시도할 수 있도록 충분히 열린 샌드박스를 제공해야, 예상치 못한 유용한 능력이 드러난다.
8:54
평가 파이프라인 YAML 설정을 불러와 환경을 만들고, 다시 런타임 정보를 주입한 뒤, production과 동일한 에이전트를 실행하고 점수화하는 DAG 형태의 파이프라인을 사용한다.
10:14
점수화: 합격·불합격과 상대 비교 평가는 task를 통과했는지 보는 절대 점수와, 두 변형 중 어느 쪽이 더 나은지 비교하는 상대 점수로 나뉘며, teardown까지 포함해 안전하게 반복 실행한다.
10:54
YAML로 정의하는 작업: 886개 task task는 시작 조건과 종료 조건을 가진 YAML로 정의되며, 단순 지시문부터 사용자 페르소나를 흉내 낸 멀티턴 시나리오까지 포함해 886개를 운영한다.
12:03
trajectory와 평가 플라이휠 production과 offline trajectory에서 나온 실패와 성공을 모두 task로 전환해 다시 평가에 넣는 구조가 핵심이며, 이 순환이 에이전트를 계속 개선하는 플라이휠이 된다.
12:53
데모 결과: ARIA가 자신의 버그를 수정 ARIA는 실제 trace를 task로 바꿔 실행하면서 weave.log 호출 누락 같은 SDK 오류를 찾아내고, candidate 변형과 점수 비교를 거쳐 스스로 수정 방향을 만든다.
14:43
루프 안에 머무르기 에이전트가 많은 일을 대신해 주더라도 개선의 사고는 사람에게 남아 있어야 하며, 생산성과 관찰성을 한 플랫폼 안에서 유지할 때 개선 속도가 가장 빨라진다.
16:22
마무리 production에서 simulation으로, 다시 에이전트와 개선 패턴으로 이어지는 복제 가능한 흐름이 핵심이며, 이것이 ARIA와 Weights and Biases가 추구하는 운영 방식이다.

실무 인사이트

에이전트 품질 향상은 모델 자체보다도 production trace를 얼마나 잘 eval task로 재활용하느냐에 크게 좌우된다.
연구·운영 코드를 최대한 동일하게 유지하고 동일한 관측 도구로 추적해야 benchmark drift를 줄이고 실제 개선을 검증할 수 있다.
많은 trace를 쌓은 뒤 절대 점수와 상대 점수를 함께 보는 구조가 에이전트의 미세한 회귀와 개선을 가장 안정적으로 잡아낸다.