Continual Learning for AI Agents: From Failures to Durable Improvements - Soheil Feizi, RELAI

한 줄 핵심

AI 에이전트의 지속 학습은 단순한 모델 파인튜닝이 아니라, 로그와 피드백을 재실행 가능한 학습 환경으로 바꾸고 하네스·메모리·모델 중 가장 작은 변경으로 회귀 없이 개선하는 체계여야 한다.

시간별 요약

1. 0:01
   지속 학습의 목표는 에이전트가 경험과 피드백을 통해 계속 좋아지되, 이미 잘하던 능력을 잃지 않는 것이다. 이를 위해 학습은 모델, 하네스, 메모리의 여러 층에서 일어날 수 있으며, 핵심 과제는 피드백을 어떻게 얻고 그 피드백으로 무엇을 어떻게 바꿀지 정하는 일이다.
2. 3:01
   개발 단계에서는 benchmark와 evaluator가 있어서 pass/fail 같은 명확한 신호를 얻을 수 있지만, production에서는 대개 로그만 남고 정답이 없다. 그래서 자동 분석이나 전문가 검토로 피드백을 만들더라도, 결국에는 재실행 가능한 learning environment로 올려서 평가 가능하게 바꿔야 한다.
3. 6:02
   업데이트는 모델, 하네스, 메모리 세 층에서 가능하지만, 항상 가장 싸고 작은 durable change를 고르는 것이 중요하다. SFT나 RL 기반 업데이트는 강력하지만 비용이 크고 benchmark가 필요하며, prompt search나 trace-to-harness, memory write는 더 가볍지만 검증 없이 적용하면 숨은 regression을 만들 수 있다.
4. 11:01
   verifiable continual learning은 실패를 재실행 가능한 테스트로 바꾸고, 변경 전후 성능 차이를 측정하며, 기존 성공 사례가 계속 통과하는지 regression test로 확인하는 접근이다. 이 방식의 핵심 원칙은 replayability, holisticness, lifelongness, efficiency이며, 단발성 수정이 아니라 누적 개선을 목표로 한다.
5. 16:01
   Rely의 학습 루프는 로그·피드백·지시를 받아 learning environment를 만들고, root cause analysis로 memory·model·harness 중 적절한 층에 고친 뒤, regression-aware optimization으로 이전 성공을 보존한다. 결과물은 리뷰 가능한 version update나 pull request 형태로 제공되어, 에이전트를 안전하게 반복 개선할 수 있다.
6. 19:00
   실전 예시는 지원 에이전트의 가상 benchmark와 production log 모두를 같은 방식으로 환경화해 시뮬레이션하고, 취약한 evaluator를 찾아 최적화한 뒤 점수를 끌어올리는 흐름을 보여준다. 핵심 메시지는 새 실패를 고칠 때도 과거 행동을 망가뜨리지 않는지 끝까지 검증해야 진짜 지속 개선이 된다는 점이다.

실무 인사이트

• 에이전트 개선을 모델 파인튜닝부터 시작하지 말고, 먼저 하네스·프롬프트·메모리처럼 더 싸고 빠른 층에서 해결 가능한지부터 점검하는 것이 효율적이다.
• 운영 로그와 사용자 피드백은 그대로는 학습 자산이 아니므로, 재실행 가능한 시뮬레이션과 evaluator로 변환하는 파이프라인을 먼저 설계해야 한다.
• 개선안을 적용할 때는 최신 실패만 줄이는지보다 기존 성공 케이스에서 regression이 생기지 않는지를 함께 보는 회귀 중심 평가가 필수다.