[한영자막] 토탈 리콜: 에이전트 메모리와 하네스 엔지니어링을 마스터해보세요

한 줄 핵심

모델 자체는 바꿀 수 없는 동결된 추론 코어이므로, 신뢰할 수 있는 에이전트를 만들려면 메모리·도구·검색·루프를 설계하는 하네스 엔지니어링과 컨텍스트 엔지니어링이 핵심이다.

시간별 요약

1. 0:00
   이번 세션에서 꼭 가져가야 할 핵심 이번 세션의 목표는 에이전트 메모리와 하네스를 이해하고, 직접 에이전트 하네스를 구성하는 감각을 얻는 데 있다. 최신 AI 애플리케이션의 경쟁력은 모델 자체보다 모델 주변 구조를 얼마나 잘 설계하느냐에 달려 있다.
2. 0:39
   모델은 동결된 추론 엔진일 뿐 언어 모델은 추론을 담당하지만 가중치는 대부분 바뀌지 않는 동결된 코어에 가깝다. 따라서 실제 제품 품질은 모델을 둘러싼 하네스와 데이터 연결 방식에서 결정된다.
3. 2:46
   에이전트 스택의 5가지 핵심 계층 에이전트 스택은 애플리케이션, 데이터, 모델, 인프라, 컴퓨트의 다섯 계층으로 나뉜다. 이 중 데이터 계층과의 연결 지점이 에이전트 하네스의 핵심이며, MCP와 게이트웨이가 외부 도구·데이터를 모델에 연결한다.
4. 7:27
   빌려 쓰는 추론과 직접 통제하는 메모리 추론은 외부 서비스를 빌려 쓰는 성격이 강하고, 메모리·도구·지각은 직접 설계할 수 있는 영역이다. 하네스 엔지니어링의 목적은 비결정적인 모델 출력을 반복 가능하고 신뢰 가능한 결과로 바꾸는 데 있다.
5. 10:20
   하네스를 구성하는 7가지 아키텍처 계층 에이전트 하네스는 저장소, 메모리 엔지니어링, 의미 계층, 루프, 컨텍스트 엔지니어링 등 여러 층으로 구성된다. 이 구조를 따라가면 어떤 모델에도 붙일 수 있는 최소 하네스를 만들 수 있다.
6. 13:03
   파일 시스템과 데이터베이스 저장소 비교 파일은 생성과 추가가 쉽고 운영체제와 잘 맞지만, 트랜잭션 일관성과 백업, 동시 수정에서 약하다. 데이터베이스는 ACID, 복제, 벡터 검색, 보안에서 강점이 있어 둘을 혼합하는 방식이 가장 실용적이다.
7. 15:07
   다중 에이전트 충돌을 막는 워크트리 기법 여러 에이전트가 같은 파일을 수정할 때는 work trees를 써서 충돌을 피하고, 작업이 끝난 뒤 main으로 병합하는 방식이 유효하다. 파일 기반 작업의 한계를 우회하려면 동시성 제어 전략이 필요하다.
8. 20:03
   RAG 파이프라인이 초래하는 데이터 파편화 RAG는 토큰화, 임베딩, 중복 제거, 정규화, 개인정보 마스킹 등 다양한 전처리와 여러 형태의 데이터를 동반한다. 이로 인해 데이터가 여러 저장소로 흩어지기 쉬워, 단일 데이터베이스에서 통합 관리하는 접근이 유지보수와 보안에 유리하다.
9. 22:23
   에이전트 관점에서 메모리의 진짜 의미 에이전트 메모리는 정보를 저장하는 것이 아니라, 재사용·재정제·회상을 가능하게 하는 시스템 전체를 뜻한다. 단기 기억, 장기 기억, 공유 기억을 구분해 저장해야 하며, 대화 맥락과 반복 가능한 워크플로우를 자산으로 바꿀 수 있다.
10. 25:25
    문맥 부패와 어텐션 비용 컨텍스트 윈도우가 커질수록 각 토큰에 대한 주의가 분산되어 문맥 부패가 발생하고, 어텐션 비용도 급격히 증가한다. 그래서 필요한 정보만 남기고 요약·압축하는 메모리 엔지니어링이 중요하다.
11. 31:00
    움벨트: 에이전트의 지각 렌즈 에이전트는 인간처럼 세상을 직접 보는 것이 아니라, 학습과 컨텍스트로 형성된 의미 렌즈를 통해 입력을 해석한다. 조직 지식, 데이터 모델, 쿼리 방식처럼 암묵적인 전제를 명시화하는 것이 의미 계층의 역할이다.
12. 34:01
    컨텍스트 엔지니어링과 툴박스 패턴 툴과 스킬은 항상 컨텍스트에 넣는 것이 아니라, 현재 단계에서 필요한 것만 선택적으로 주입해야 한다. toolbox pattern과 skillbox pattern은 매 루프마다 적절한 도구만 검색해 넣는 방식으로 컨텍스트 낭비를 줄인다.
13. 36:08
    스킬 승격과 워크플로우 승격 반복적으로 잘 동작한 스킬과 워크플로우는 distillation을 통해 더 나은 skill.md나 재사용 가능한 절차로 승격할 수 있다. 이렇게 축적된 개인화된 지식은 시간이 지날수록 더 맞춤형 실행 능력을 만든다.
14. 38:27
    실습 환경 설정과 앱 북 아키텍처 실습은 GitHub code space에서 진행되며, app book을 통해 하네스의 각 구성요소를 개별적으로 시험할 수 있다. 학생 노트북에서는 모델만 호출하는 최소 구성부터 시작해 점진적으로 하네스를 확장한다.
15. 44:50
    기본 모델 호출부터 시작하는 19가지 실습 첫 실습은 하네스 없이 모델만 호출하는 가장 단순한 질의부터 시작한다. 이후 검색, 저장, 추적, 컨텍스트 시각화, 오류 처리까지 포함해 총 19단계로 전체 하네스를 구현해 본다.
16. 48:35
    수천 개의 도구가 있을 때의 컨텍스트 전략 도구 수가 많아지면 HNSW 기반 벡터 인덱스로 도구 검색을 빠르게 만들고, 설명 문구도 LLM으로 강화해 구분도를 높일 수 있다. 도구가 많아도 저장·검색 구조를 잘 설계하면 실제 호출 비용은 충분히 관리 가능하다.
17. 53:18
    에이전트의 인내심을 제어하는 이력 변수 하네스는 tool call 재시도 한도를 두고, hysterosis 변수로 모델에 허용할 인내심을 조절할 수 있다. 어려운 문제는 frontier LLM으로 라우팅하고 쉬운 문제는 작은 모델로 보내는 모델 라우팅이 토큰 효율을 높인다.

실무 인사이트

• 실무에서는 모델 성능보다 메모리 저장소, 도구 검색, 재시도 정책을 먼저 설계해야 에이전트 품질이 안정된다.
• 파일과 데이터베이스를 이분법으로 보지 말고, 단기 메모리는 파일·장기 메모리는 데이터베이스처럼 역할을 분리해 혼합 설계하는 것이 유리하다.
• 도구가 많아질수록 핵심은 더 많은 도구를 넣는 것이 아니라, 현재 단계에 필요한 도구만 정확히 검색해 컨텍스트에 주입하는 것이다.