Improving Agents is a Data Mining Problem — Vivek Trivedy, LangChain

한 줄 핵심

에이전트를 지속적으로 개선하려면 모델을 직접 만지기보다 먼저 트레이스를 대규모로 수집·분석해 피드백을 만들고, 그 결과로 프롬프트·하네스·파인튜닝을 반복하는 데이터 마이닝 루프를 구축해야 한다.

시간별 요약

1. 0:01
   에이전트 개선의 출발점은 배포와 트레이스 수집이다. 실제 환경에서 생성된 도구 호출, API 호출, 출력 메시지를 저장해야 무엇이 잘못됐는지 분석하고 다음 실험으로 연결할 수 있다.
2. 3:00
   에이전트는 코드보다 훨씬 비결정적인 구성요소를 가지므로, 사람이 동작을 직관적으로 추론하기 어렵다. 따라서 프롬프트 변경이 실제 행동에 어떤 영향을 주는지 이해하려면 트레이스를 읽고, 도메인별 차이까지 포함해 관찰 기반으로 판단해야 한다.
3. 5:01
   트레이스는 단순 로그가 아니라 성능 분석과 대조 실험의 근거가 된다. 좋은 사례와 나쁜 사례를 찾고, 긴 실행에서 컴팩션 이후 성능 저하를 확인하고, 모델 간 비교까지 하려면 트레이스를 사람이 아니라 에이전트가 읽게 하는 방식이 효율적이다.
4. 8:00
   먼저 하네스 엔지니어링으로 빠르게 피드백을 얻고, 한계에 도달하면 도메인 데이터로 파인튜닝해 비용과 성능을 함께 최적화할 수 있다. Open model이 충분한 지점에서는 더 저렴한 모델로 같은 품질을 내고, 고빈도 추론은 토큰 비용 대신 하드웨어 비용으로 전환하는 전략이 유효하다.
5. 13:01
   클래식 머신러닝의 fit 함수처럼, 에이전트 개선도 모델·하네스·데이터를 함께 맞추는 문제로 볼 수 있다. 핵심 작업은 좋은 데이터와 좋은 fit function을 찾는 것이며, 이후에는 피드백을 촘촘하게 만들고 지속적으로 학습·수정하는 루프를 운영하는 것이다.

실무 인사이트

• 에이전트가 있으면 먼저 tracing을 켜고, 트레이스에서 실패·성공 사례를 자동 분류하는 에이전트를 붙이면 개선 포인트를 가장 빨리 찾을 수 있다.
• 프롬프트를 오래 미세조정하기보다, 하네스로 빠르게 피드백을 만든 뒤 성능이 정체되면 파인튜닝으로 넘어가는 2단계 전략이 실무적으로 효율적이다.
• 장기적으로는 트레이스 수집, 하네스 업데이트, 메모리 갱신을 한 루프로 묶어야 에이전트가 환경 변화에 맞춰 계속 좋아진다.