Memory Harnesses for Long-Running Research Agents — Stefania Druga, Sakana.ai

한 줄 핵심

장기 실행 연구 에이전트에서 기억은 단순 저장소가 아니라 회수 정책까지 포함한 제어 루프이며, 맥락 밖 정보를 얼마나 잘 골라 다시 넣느냐가 성능과 비용을 좌우한다.

시간별 요약

1. 0:01
   장기 작업에서는 모델이 이전 결정을 잊거나 스스로를 모순시키는 맥락 붕괴가 쉽게 발생하며, 더 긴 과업과 더 적은 모델 출시가 겹치면서 이 문제가 더 중요해진다. 로컬 모델과 로컬 하네스를 쓰면 비용, 라우팅, 캐싱, 맥락 정리까지 직접 통제할 수 있어 이 문제를 다루기 유리하다.
2. 3:00
   기억은 데이터베이스가 아니라 write-manage-read 루프로 봐야 하며, 하네스가 기억의 생성·관리·회수를 책임진다. 실험 설계는 메모리가 없는 연구 에이전트에 대해 recall과 archival을 분리하고, recall에서는 memory off, vector rag, decisions ledger, oracle 같은 정책을 비교하는 구조로 짜여 있다.
3. 5:00
   문헌 검토처럼 정보가 컨텍스트에 다 들어가는 과업에서는 메모리가 성능을 거의 올리지 못하고 비용만 늘린다. 반대로 X-Bench처럼 질문 시점에 정답이 완전히 컨텍스트 밖에 있는 장기 과제에서는 적절한 메모리 하네스가 정답 회수에 큰 차이를 만든다.
4. 8:01
   X-Bench 68개 질문과 여러 seed에서의 비교 결과, rank only ledger가 단순히 메모리 사용 여부를 판단하는 방식보다 더 좋은 성능을 냈다. Oracle이 올바른 메모리를 제공해도 모델이 이를 반드시 활용하는 것은 아니기 때문에, 정답 메모리를 주는 것만으로는 최고 성능에 도달하지 못한다.
5. 10:01
   나쁜 메모리는 잘못된 방향으로 에이전트를 이끌고 토큰도 더 소모하므로, 회수 정책 자체를 핵심 지표로 관리해야 한다. 로컬 모델 실험은 속도 제약이 있지만 데이터, 실행 흔적, 평가를 전부 통제할 수 있어 기억 시스템의 구조적 설계를 검증하기에 매우 강력하다.

실무 인사이트

• 장기 에이전트에서는 memory 유무보다 어떤 메모리를 어떤 순서와 규칙으로 회수할지가 더 중요하므로, recall policy를 별도 지표로 두고 평가해야 한다.
• 과업이 컨텍스트에 완전히 들어가는지 먼저 판단한 뒤, 들어가지 않을 때만 메모리 하네스를 붙여야 비용 대비 효과가 좋아진다.
• 로컬 환경에서는 메모리, 실행, 평가를 모두 통제할 수 있으므로 장기 연구 에이전트의 실패 원인을 분리해 진단하는 실험 플랫폼으로 활용하기 좋다.