Your AI Agent Keeps Making the Same Mistakes - Sparsh Jain, CentralAgent AI

한 줄 핵심

AI 에이전트가 같은 실수를 반복하는 문제를 해결하려면 더 많은 컨텍스트를 넣는 것이 아니라, 경험을 축적·업데이트·검색·망각하는 메모리 인프라와 자기개선 루프를 구축해야 한다.

시간별 요약

1. 0:00
   반복되는 실수의 본질 에이전트의 문제는 지능 부족보다 같은 실수를 계속 재생산하는 데 있으며, 이를 일회성 수정이 아니라 시스템 차원의 메커니즘으로 해결해야 한다.
2. 1:01
   컨텍스트를 늘리는 것의 한계 컨텍스트와 메모리를 무작정 더 넣으면 정확도가 오르지 않고 비용·시간·복잡도만 커지므로, 더 많은 정보가 곧 더 나은 성능이라는 전제는 깨진다.
3. 3:00
   경험형 메모리의 구조 메모리는 단기 기억과 장기 기억으로 나뉘며, 장기 기억은 사실 기반 기억과 경험 기반 기억으로 구성된다. 경험 기반 기억은 case-based, strategy-based, skill-based로 추상화되어 에이전트가 배운 것을 재사용하게 만든다.
4. 5:00
   형성·업데이트·검색·망각 메모리 라이프사이클은 형성, 업데이트, 검색으로 돌아가며, 오래된 정보의 비활성화와 망각이 함께 있어야 한다. 검색이 틀리면 나머지가 좋아도 전체 시스템 성능은 무용지물이 된다.
5. 8:00
   자기개선 루프와 자동 검증 최신 모델은 인간 대신 검증자 역할을 할 수 있으므로, 수동 리뷰 중심에서 벗어나 루프와 eval을 내장한 자기개선 시스템으로 전환해야 한다. 세션과 일자 단위로 학습을 추출하고 테스트한 뒤 실제 시스템에 반영하는 구조가 핵심이다.
6. 12:02
   팀 전체로 경험을 누적하는 운영 방식 모든 것을 한 번에 저장하지 말고 점진적으로 공개하고, 시스템은 지속적으로 개선하며, 프롬프트보다 루프를 작성해야 한다. 이렇게 하면 에이전트가 개인이 아닌 팀 전체에서 경험을 흡수해 10x~100x 생산성의 자율 팀으로 발전할 수 있다.

실무 인사이트

• 에이전트 성능 개선의 우선순위는 컨텍스트 추가보다 기억의 선별, 갱신, 망각, 검색 품질을 설계하는 데 있다.
• 실무에서는 세션 종료 후 학습 추출→독립 검증→실환경 반영의 자동 루프를 만들어야 같은 실수의 재발을 줄일 수 있다.
• 조직 단위로는 개인별 경험을 분산 보관하는 대신 팀 공용 경험 메모리를 쌓아야 AI의 학습 효과가 누적된다.