We Kept Rebuilding Our AI Agent. Here's What Survived - Fuad Ali, Arize AI

한 줄 핵심

Arize AI의 in-product 에이전트 Alex를 2년간 여러 번 다시 설계하며, 계획·종료·메모리·평가를 모델이 아니라 하네스 코드로 통제하는 것이 안정적인 프로덕션 에이전트를 만드는 핵심이라는 점을 보여준다.

시간별 요약

1. 0:00
   소개 이 영상은 Alex라는 프로덕션 에이전트를 2년 동안 운영하며 얻은 설계 교훈을 정리한다. 실제 배포 환경에서 에이전트를 만들 때 무엇이 효과적이었고 무엇을 버렸는지에 초점을 맞춘다.
2. 0:53
   에이전트 위의 에이전트들 사내에는 코드 작성 에이전트, 트레이스 읽기 에이전트, in-product 에이전트인 Alex처럼 서로를 보조하는 여러 에이전트가 있다. Alex를 Alex로 디버그하는 구조까지 포함해, 에이전트 설계는 단일 기능이 아니라 서로 얽힌 시스템 문제라는 점을 강조한다.
3. 2:56
   Alex가 하는 일 Alex는 트레이스를 읽고, 발견 사항을 테스트로 바꾸고, 데이터셋과 실험을 만들며, 다단계 작업을 계획하고 실행한다. 초기에는 환각이 많았지만 지금은 계획과 설명이 강화되어, 트레이스 디버깅용 실무 도구로 자리 잡았다.
4. 4:15
   2023년부터 2026년까지의 변화 초기에는 단순한 라우터와 스킬 호출 루프였지만, 이후 계획·재시도·종료·메모리까지 하네스 코드로 점점 옮겨 왔다. 모델 자체보다 실행 구조를 직접 제어하는 쪽이 더 많은 문제를 해결했고, 결국 스킬을 적재하는 단일 에이전트와 장기 메모리로 수렴했다.
5. 6:19
   계획은 누가 맡는가 모델이 스스로 할 일 목록을 계속 갱신하게 두면 불필요한 호출이 늘고 집중력이 흐트러진다. 계획을 메시지로 렌더링해 하네스가 상태를 보관하고, 모델은 다음 행동만 소비하게 만드는 방식이 더 안정적이다.
6. 8:33
   한 턴은 어떻게 끝나는가 텍스트만으로는 완료 여부를 판단하지 않고, 하네스가 명시적인 종료 호출과 재시도 한도를 강제해야 한다. 특히 여러 모델을 지원하는 환경에서는 모델별 행동 차이를 막기 위해 종료 조건을 엄격하게 설계해야 한다.
7. 9:44
   메모리: 큰 결과는 파일처럼 다루기 큰 도구 결과를 그대로 컨텍스트에 넣으면 읽기도 어렵고 컨텍스트도 쉽게 터진다. 따라서 결과는 요약 포인터처럼 저장하고, 필요할 때 다시 찾아보게 하며, 세션 이력도 고정 예산 안에서 점검 가능한 형태로 유지한다.
8. 12:10
   지식 그래프보다 나은 작은 파일 벡터 검색, 에피소드 저장소, 시맨틱 저장소, 시계열 지식 그래프보다 사용자당 하나의 작은 Markdown 파일이 더 잘 작동했다. 작고 정확하며 사람도 감사할 수 있고, 배경 작업 하나로 안전하게 갱신된다는 점이 장점이다.
9. 13:33
   전문가형 에이전트와 단일 에이전트 처음에는 페이지마다 전담 서브에이전트를 두었지만, 결국 하나의 에이전트가 필요할 때 스킬과 도구를 불러오는 구조로 되돌아갔다. 모델 능력이 좋아질수록 구조를 단순화해도 충분해졌고, 운영 복잡도도 줄었다.
10. 14:13
    최신 모델이 항상 최고는 아니다 가장 최신 모델이 기본값으로 가장 좋은 것은 아니며, 실제로는 빠르고 충분히 좋은 모델이 더 적합한 경우가 많다. 일부 작업은 루프조차 필요 없고 단일 호출로 끝나므로, 과설계보다 작업별 라우팅과 경량 모델 활용이 중요하다.
11. 15:28
    프로덕션 세션을 테스트로 쓰기 실제 사용자 세션과 트레이스를 그대로 회귀 테스트와 고정 데이터셋으로 전환하면, 프로덕션이 곧 테스트베드가 된다. 에이전트 버그는 명시적 에러보다 이상한 반복 호출이나 비효율로 드러나므로, 실사용 데이터와 실험 체계가 필수다.
12. 17:46
    여전히 사람이 필요한 부분 골드 라벨, 기준 판단, 속도와 품질의 균형은 결국 사람이 정해야 한다. 메트릭이 결정을 돕더라도, 어떤 모델을 기본값으로 둘지와 어떤 품질 저하를 감수할지는 인간의 판단 영역으로 남는다.
13. 18:31
    모든 재구성을 거쳐 남은 것 끝까지 살아남은 것은 트레이싱, 코드로 처리하는 수학과 데이터, CI의 골드 데이터셋, 쉽게 고칠 수 있는 오류, 스트리밍과 영속성, 그리고 스킬이었다. 핵심은 모델에게 막연한 텍스트를 주는 것이 아니라 외부 시스템을 다룰 수 있는 명확한 능력을 제공하는 것이다.

실무 인사이트

• 에이전트의 품질은 모델 성능보다 계획·종료·메모리 같은 하네스 설계에서 더 크게 좌우되므로, 먼저 실행 구조를 고정하고 그 위에 모델을 얹는 방식이 안전하다.
• 장기 메모리는 복잡한 그래프보다 사용자당 하나의 작고 감사 가능한 파일이 더 실용적일 수 있으므로, 과도한 검색/저장소 설계보다 운영 가능성을 우선 검토하는 것이 좋다.
• 실서비스 에이전트는 로그가 아니라 실제 세션이 가장 좋은 테스트 데이터이므로, 프로덕션 트레이스를 곧바로 회귀 테스트와 실험 자산으로 전환하는 체계를 만들어야 한다.