Total Recall: Agent Memory and Harness Engineering — Ignacio Martinez, Oracle

한 줄 핵심

이 영상은 LLM 자체보다 그 주변의 하네스, 메모리, 컨텍스트, 도구 연동을 어떻게 설계하느냐가 에이전트의 신뢰성과 재사용성을 좌우한다는 점을 실전 워크숍 방식으로 보여준다.

시간별 요약

1. 0:00
   워크숍 저장소 접속 준비 워크숍은 GitHub Codespaces에서 진행되며, 초대받은 저장소를 수락한 뒤 환경을 띄우면 바로 실습할 수 있다. 앞부분은 개념 소개에 쓰고, 이후 시간에는 노트북과 앱북을 함께 따라가며 구현을 진행한다.
2. 3:22
   이 세션에서 가져가야 할 것 핵심 학습 목표는 agent memory와 agent harness를 이해하고, 자신만의 하네스를 설계할 수 있게 되는 것이다. 오늘의 초점은 모델이 아니라 모델 주변의 구조를 다루는 데 있다.
3. 4:02
   추론의 고정된 부분 모델의 가중치는 대부분 고정되어 있어 추론 자체는 바꾸기 어렵고, 그래서 주변 구조로 성능을 제어해야 한다. 이 맥락에서 하네스가 실제로 조정 가능한 레버가 된다.
4. 6:09
   에이전트 스택의 다섯 계층 AI 애플리케이션은 애플리케이션, 데이터, 모델, 인프라, 컴퓨트로 나뉘며 그중 데이터 계층이 가장 통제 가능하다. 하네스는 특히 데이터 계층과 밀접하게 붙어 있으며, gateway와 MCP가 외부 데이터·도구와 연결하는 관문 역할을 한다.
5. 10:50
   추론은 빌리고, 기억은 직접 통제하기 추론은 비결정적이고 외부 서비스처럼 빌려 쓰는 영역이며, 메모리·도구·퍼셉션은 직접 설계할 수 있는 영역이다. 하네스 엔지니어링의 목표는 이 비결정성을 반복 가능하고 예측 가능한 결과로 바꾸는 것이다.
6. 13:43
   하네스의 일곱 계층 하네스는 저장, 메모리 엔지니어링, 의미 계층, 에이전트 루프, 컨텍스트 엔지니어링 등으로 구성된다. 모델은 교체 가능한 대상으로 두고, 나머지 계층을 설계해 신뢰 가능한 에이전트를 만든다.
7. 16:26
   파일과 데이터베이스의 선택 파일은 가볍고 모델 친화적이지만 트랜잭션 일관성이나 백업, 동시성에서 약하다. 데이터베이스는 구조화와 검색, 복구에 강하며, 실제로는 둘 중 하나를 고르기보다 하이브리드로 쓰는 편이 유리하다.
8. 18:30
   동시 작업의 해법: work trees 여러 에이전트가 같은 파일을 동시에 다룰 때는 work tree를 분리해 충돌을 피할 수 있다. 파일 기반 작업의 한계를 우회하면서도 마지막에는 main에 병합하는 흐름이 가능하다.
9. 23:26
   RAG 파이프라인이 만드는 데이터 확산 RAG는 토큰화, 임베딩, 중복 제거, 정규화, PII 제거 등 여러 단계를 거치며 텍스트, 메타데이터, 벡터가 모두 생긴다. 이런 데이터 형식의 다양성 때문에 운영 복잡도가 급격히 늘어나며, 하나의 DB 엔진으로 통합하는 접근이 중요해진다.
10. 25:46
    에이전트 메모리의 의미 에이전트 메모리는 정보를 저장하고, 재사용하고, 정제하고, 다시 떠올릴 수 있게 하는 전체 메커니즘이다. 단기, 장기, 공유 메모리로 나뉘며, 각각 현재 작업, 과거 경험, 협업 상황에 맞게 다뤄야 한다.
11. 28:48
    컨텍스트 붕괴와 이차 복잡도 컨텍스트가 길어질수록 각 토큰에 대한 주의가 희석되어 context rot가 발생하고, attention 계산도 비용이 급격히 커진다. 그래서 컨텍스트 윈도우는 가능한 작고 선명하게 유지해야 하며, 요약·압축·선별이 핵심이 된다.
12. 34:23
    Umwelt와 에이전트의 지각 렌즈 에이전트는 인간처럼 세상을 직접 보지 못하고, 학습과 주어진 컨텍스트를 통해 필터링된 렌즈로 이해한다. 이 의미 층위에는 조직 내부의 암묵지, 데이터 모델, 쿼리 방식, 메타데이터 같은 지식이 들어간다.
13. 37:24
    컨텍스트 엔지니어링과 도구 상자 패턴 도구와 스킬은 필요할 때만 컨텍스트에 주입해야 하며, toolbox pattern과 skillbox pattern이 이를 돕는다. 매 반복마다 필요한 항목만 선택해 넣고, continual learning은 컨텍스트·표현·가중치 수준에서 개선을 누적하는 방식으로 접근한다.
14. 39:31
    스킬 승격과 워크플로 승격 오래 수행한 작업은 재사용 가능한 skill.md나 workflow로 승격해 더 나은 버전으로 다듬을 수 있다. 이렇게 정제된 지식은 개인의 선호와 업무 방식에 맞는 맞춤형 능력으로 축적된다.
15. 41:50
    워크숍 설정과 앱북 실습은 GitHub Codespaces에서 진행되며, 노트북과 별도로 앱북을 통해 하네스 구성요소를 개별적으로 시험할 수 있다. OCI Generative AI Service를 통해 모델 호출이 이뤄지고, 실행 상태와 트레이스를 시각적으로 확인할 수 있다.
16. 48:13
    빈 모델 호출에서 시작하는 열아홉 개 과제 첫 과제는 하네스 없이 모델에 질문을 보내는 가장 단순한 호출을 만드는 것이다. 이후 검색, retrieval, encoding, 컨텍스트 구성 등을 차례로 추가하며 총 19개의 과제를 통해 전체 하네스를 조립한다.
17. 51:58
    도구가 수천 개라면? 도구 수가 많아지면 toolbox pattern과 HNSW 기반 벡터 인덱스로 관련 도구만 빠르게 찾아 쓰는 방식이 필요하다. 유사한 도구 설명은 LLM으로 보강해 구분 가능성을 높일 수 있으며, 필요 시 더 적절한 모델로 라우팅하는 전략도 유효하다.
18. 56:41
    인내심을 위한 히스테리시스 변수 무한 재시도는 비용이 크므로, 하네스가 모델을 얼마나 오래 기다릴지 정하는 인내심 변수 같은 장치가 필요하다. 쉬운 문제는 작은 모델로, 어려운 문제는 frontier LLM으로 라우팅하는 혼합 전략이 토큰 효율적이다.

실무 인사이트

• 에이전트 성능을 올리려면 모델 교체보다 먼저 메모리 저장 방식, 컨텍스트 주입 기준, 도구 선택 로직을 설계하는 편이 효과적이다.
• 파일과 데이터베이스를 대립적으로 보지 말고, 단기 작업은 파일·장기 지식은 DB처럼 역할 분담을 두면 운영 복잡도를 크게 줄일 수 있다.
• 도구 수와 메모리가 늘어날수록 HNSW, 요약, 스킬 승격처럼 검색·압축·재사용 메커니즘이 에이전트 품질의 핵심이 된다.