Building Self-Learning Loops for Your Agent — Fuad Ali, Arize AI

한 줄 핵심

에이전트가 스스로 텔레메트리를 읽고, 실패를 조사하고, 수정안을 제안한 뒤 실제 실패 데이터셋으로 검증까지 수행하는 자가 학습 루프를 Arize의 Signal·Skills·Harness·Agent Experiments로 구축하는 방법을 보여준다.

시간별 요약

1. 0:00
   자가 학습 루프와 텔레메트리 에이전트가 자신의 텔레메트리를 소비해 스스로를 교정하는 개념을 소개하고, Arize가 이 흐름을 지원하는 여러 기능을 통해 이를 구현하려는 방향을 제시한다.
2. 2:16
   관측성을 소비하는 에이전트 관측성은 사람이 대시보드를 읽는 단계에서 에이전트가 프로그램적으로 읽고 반응하는 단계로 진화해야 하며, 문제를 탐지·조사·수정하는 완전 자동 루프가 다음 단계로 제시된다.
3. 5:02
   운영 예산 실패 사례 실험 단계에서는 보이지 않던 비용성 실패가 실제 운영에서는 드러나며, 특히 예산 조건을 놓친 에이전트가 자신 있게 잘못된 상품을 선택하는 사례가 문제의 출발점이 된다.
4. 6:09
   Wonder Toys 어시스턴트 상품 검색, 상세 조회, 구매, 주문 조회, 취소 기능을 가진 쇼핑 어시스턴트를 예제로 삼고, OpenAI agents SDK와 FastAPI, 벡터 검색, Arize 추적이 결합된 구성을 보여준다.
5. 7:29
   저장소와 트레이싱 설정 저장소를 복제하고 API 키를 넣은 뒤 `npm run dev`로 실행하면 트레이스가 Arize로 자동 전송되며, 실제 분석은 아주 적은 초기 설정만으로 시작할 수 있다.
6. 8:25
   가격 필터 버그 조사 30달러 이하 선물을 요청했는데 더 비싼 상품이 반환되는 가격 게이트 오류를 예시로 들며, 코드와 트레이스의 맥락 없이는 이런 엣지 케이스를 찾기 어렵다는 점을 짚는다.
7. 9:19
   신호와 지속적 조사 Signal은 프로덕션 트레이스를 계속 읽고 실패를 원인별로 클러스터링하며, GitHub와 Data Dog 같은 외부 도구를 연결해 조사 보고서와 PR 초안까지 생성하는 상시 실행 에이전트다.
8. 10:57
   코딩 에이전트를 위한 스킬 Cursor, Claude Code, Codex 같은 코딩 에이전트가 Arize 트레이스를 직접 조회하도록 만드는 Skills를 소개하고, 실패 데이터셋 생성·트레이스 분석·평가 실행 같은 작업을 에이전트가 수행할 수 있게 한다.
9. 12:37
   상시 실행과 요청형 워크플로 Signal은 백그라운드에서 계속 인사이트를 제공하는 상시 방식이고, Skills를 쓰는 코딩 에이전트는 필요할 때만 조사하는 요청형 방식으로, 둘 다 트레이스와 코드에 동시에 접근해 수정을 돕는다.
10. 13:30
    워크숍 설정과 키 이 구간은 워크숍 참가자들이 API 키를 넣고 저장소를 실행하도록 돕는 절차에 집중하며, 네 가지 기본 명령과 네트워크 문제를 고려한 진행 방식이 안내된다.
11. 19:53
    애플리케이션 트레이스 살펴보기 Wonder Toys 상호작용이 Arize에 어떻게 기록되는지 확인하고, 챗봇이 어떤 단계를 거쳐 응답했는지 트레이스만으로 추적할 수 있다는 기본 가치를 보여준다.
12. 20:34
    실패 클러스터와 증거 확인 Signal이 트레이스에서 문제를 자동 분류하고 추세를 시각화하며, Python 직렬화 문제 같은 사례에 대해 증거와 가설, PR까지 묶어 제시하는 흐름을 설명한다.
13. 23:18
    탐지·조사·수정 실패를 먼저 탐지하고, 실제 트레이스로 원인을 조사한 뒤, 코드 경로의 가격 필터 버그를 찾아 수정하는 세 단계가 하나의 루프로 연결된다.
14. 24:45
    개선 루프 연결 탐지·조사·수정·검증이 하나의 개선 루프로 묶이며, 알림 임계치나 지연·비용 스파이크 같은 조건에 맞춰 Signal과 사용자 정의 judge, CI 실험을 연동할 수 있다.
15. 26:34
    판정자로서의 Harness 고정된 기준표를 쓰는 LM as a judge와 달리, Harness as a judge는 트레이스를 읽으며 평가 기준을 상황에 맞게 조정해 알려지지 않은 실패까지 잡아내는 적응형 평가를 제공한다.
16. 28:36
    도구 접근과 외부 맥락 Harness는 샌드박스 안에서 외부 시스템 호출이 가능해 사용자 접근 권한 같은 맥락을 확인할 수 있으며, 입력·출력만 보는 기존 판정 방식보다 훨씬 넓은 판단을 수행한다.
17. 29:48
    예산 제약 평가 가격이 요청 범위를 벗어나면 실패하도록 하는 간단한 판정 기준을 예로 들며, 이 룰이 이후 모든 실행에서 반복적으로 버그를 잡아낼 수 있음을 보여준다.
18. 30:27
    에이전트 실험 배포 전 고정된 결과 집합에 대해 수정안을 자동으로 시험하는 Agent Experiments를 소개하며, dev 환경의 에이전트를 엔드포인트로 세워 CI 수준에서 검증할 수 있다.
19. 31:09
    실패 데이터셋 구축과 재생 실패한 실제 트레이스들을 모아 데이터셋으로 만들고, 그 데이터를 새 버전의 에이전트에 다시 흘려보내 수정안이 동일한 실패를 해결하는지 재현·검증하는 흐름을 설명한다.
20. 32:46
    품질·지연·비용 비교 수정 전후를 비교할 때는 정답률뿐 아니라 지연 시간과 비용까지 함께 봐야 하며, 실험 결과를 정량화해야 실제 운영 개선인지 판단할 수 있다.
21. 33:13
    자율 검증 루프 에이전트가 실패를 수집하고, 데이터셋을 만들고, 새 PR을 다시 실험해 검증 결과를 요약하는 완전 자동 루프가 가능하며, 사람은 마지막 검토만 맡게 된다.
22. 35:30
    계측과 스킬 설정 무엇보다 먼저 트레이싱을 켜야 하며, Arize는 주요 에이전트 프레임워크와 모델 제공자를 지원하고, `MPX skills ad arise AI arise skills`로 트레이스 분석·데이터셋 큐레이션·평가 스킬을 설치할 수 있다.
23. 37:49
    마무리 탐지·조사·수정·검증의 전체 흐름을 다시 정리하며, 무료 체험 코드와 추가 워크숍 안내로 자가 개선 에이전트를 직접 구축해 보라고 마무리한다.

실무 인사이트

• 실무에서는 사람이 로그를 읽는 구조보다, 에이전트와 평가기가 같은 텔레메트리와 코드 저장소를 동시에 읽는 구조가 문제 재현과 수정 속도를 크게 높인다.
• 알려진 테스트만으로는 운영 실패를 막기 어렵기 때문에, 실제 실패 트레이스를 데이터셋으로 축적해 재검증하는 루프를 표준화하는 것이 중요하다.
• 판정 기준은 고정 스펙보다 트레이스와 도구 호출 맥락을 함께 보는 적응형 구조가 더 효과적이며, 권한·예산·지연 같은 운영 제약을 함께 점검해야 한다.