[한영자막] 장시간 AI 에이전트가 기억을 잃지 않게 만드는 법 — Stefania Druga, Sakana.ai

한 줄 핵심

장시간 AI 에이전트에서는 단순 저장소가 아니라 회수 정책까지 포함한 메모리 하네스가 핵심이며, 작업이 컨텍스트를 넘길수록 구조화된 회수 전략이 정확도와 비용을 동시에 개선한다.

시간별 요약

1. 0:00
   장기 과제에서 컨텍스트가 붕괴하면 모델이 자기모순을 일으키고 같은 일을 반복하며, 더 긴 호라이즌 작업과 더 적은 모델 출시가 겹치는 흐름 때문에 이 문제는 더 중요해진다.
2. 1:02
   로컬 모델과 로컬 하네스는 비용 절감, 라우팅, 캐싱, 컨텍스트 정리, 사용 가시성 측면에서 실용성이 커지고 있으며, M3 Ultra 같은 장비에서 Qwen 27B quantized at 4-bit과 DeepSeek before flash를 활용한 실험 환경이 소개된다.
3. 3:01
   메모리는 단순한 데이터 저장이 아니라 write-manage-read 루프로 이해해야 하며, 연구 에이전트의 하네스는 core traces, recall block, archival block, 그리고 ground truth 역할의 oracle을 중심으로 설계된다.
4. 4:00
   회수 전략을 사용하지 않는 baseline, vector RAG, decision ledger, oracle까지 단계적으로 비교한 결과, 컨텍스트 안에 모든 정보가 들어가는 과제에서는 메모리가 성능을 거의 올리지 못하고 비용만 늘린다.
5. 6:02
   반대로 X-Bench처럼 정답이 현재 컨텍스트 밖에 있는 장기 과제에서는 ranked recall이 가장 잘 작동했고, 단순히 메모리 사용 여부를 게이팅하는 방식보다 더 높은 정확도를 보였다.
6. 8:00
   oracle이 올바른 기억을 제공해도 모델이 그것을 반드시 활용하지는 않기 때문에 최대 성능에 도달하지 못하며, 잘못된 단계나 최근 단계 같은 ablation에서도 ranked policy가 가장 좋은 결과를 냈다.
7. 9:02
   좋은 메모리 정책은 더 적은 토큰과 예산으로 더 높은 회수 성능을 내며, 메모리 설계에서는 저장 내용보다 무엇을 어떤 순서로 회수할지와 장기 반복에서 무엇이 살아남는지가 핵심이다.
8. 10:00
   메모리 기술 스펙트럼은 파일시스템 기반 회수부터 메모리 모델 학습까지 매우 넓고, 로컬 모델 실험은 데이터와 추적, 평가를 모두 통제할 수 있다는 점에서 주권적 역량을 보여준다.

실무 인사이트

• 장기 에이전트를 만들 때는 메모리 저장소보다 recall policy를 먼저 설계해야 하며, 회수 우선순위와 랭킹 기준을 명시적으로 정의하는 것이 효과적이다.
• 작업이 컨텍스트에 들어오는지 먼저 판별하고, 들어오지 않을 때만 구조화된 메모리를 붙여야 불필요한 토큰 비용과 오류 전파를 줄일 수 있다.
• 로컬 환경에서는 하네스, 데이터, trace, eval을 모두 통제할 수 있으므로 메모리 성능을 재현성 있게 비교하고 실패 원인을 분해하기 좋다.