[무료강의] 논문으로 배우는 AI 에이전트의 기억 (1시간 통합본)

한 줄 핵심

이 영상은 AI 에이전트의 기억을 왜 필요로 하는지부터 기억의 종류, 저장·정리·수정 원칙과 실습 구현까지 논문 기반으로 체계적으로 설명해, 개인 PC에서 바로 시험해볼 수 있는 기억 시스템 설계 감각을 제공한다.

시간별 요약

1. 0:00
   인트로 에이전트 메모리가 왜 필요한지와 어떻게 기억을 설계해야 같은 맥락을 반복하지 않을 수 있는지 문제의식을 제시한다. 여러 논문과 자료를 모아 실습 가능한 강의로 정리했음을 밝히며 전체 학습의 출발점을 만든다.
2. 1:29
   에이전트에게 왜 기억이 필요한가 생성형 AI에 많은 비용을 썼지만 조직의 성과로 이어지지 않는 이유를 ‘학습’ 부족에서 찾는다. 피드백을 유지하고 맥락에 적응하는 능력이 에이전트 기억의 핵심 필요성으로 제시된다.
3. 2:03
   이 시리즈를 공부하는 법과 지도 14강 전체가 질문→개념→논문→예시→정리→실습의 순서로 진행되는 구조를 설명한다. 강의 전반의 지도와 실습 연계 방식이 제시되어 학습 흐름을 미리 잡아준다.
4. 2:49
   MIT NANDA: 보고서가 말한 학습 격차 MIT NANDA 보고서를 통해 범용 도구는 개인 생산성은 높여도 조직의 손익 성과로는 잘 이어지지 않는다고 정리한다. 그 원인으로 업무 흐름 적합성 부족, 맥락에서 배우지 못함, 피드백 유지 실패가 제시된다.
5. 4:01
   상태가 없는 LLM과 이어져야 하는 에이전트 LLM은 호출이 끝나면 스스로 상태를 남기지 않기 때문에 이어지는 작업에는 별도 기억이 필요하다고 설명한다. 컨텍스트 창은 책상, 기억은 서랍에 비유되며 무엇을 넣고 꺼내고 고칠지가 핵심 과제로 제시된다.
6. 5:29
   서베이: 기억의 세 가지 기능과 세 질문 기억을 사실·경험·작업의 세 기능으로 나누고 각각 ‘무엇을 아는가’, ‘어떻게 나아지는가’, ‘지금 무엇을 생각하는가’에 답한다고 정리한다. 장기 기억과 작업 기억이 고리처럼 연결된다는 관점도 함께 제시한다.
7. 6:39
   Reflexion: 같은 모델, 실패를 적어 두면 실패를 반성문으로 남겨 다음 시도에 읽게 하는 방식이 성능을 높일 수 있음을 보여준다. 다만 자기 평가와 자체 테스트에 의존하므로 테스트 품질이 낮으면 오히려 잘못된 확신을 강화할 수 있다.
8. 8:19
   Generative Agents: 기억 구조가 행동을 만든다 기억 흐름, 중요도, 최근성, 관련성을 함께 써서 에이전트의 행동과 반성이 만들어지는 구조를 소개한다. 메모리·반성·계획이 결합되면 사회적 행동의 확산과 그럴듯한 인터뷰 답변이 가능해진다.
9. 10:02
   원문 예시 · 발렌타인데이 파티 파티 설정과 인간관계 설정이 최소한으로 주어졌을 때 에이전트들이 스스로 사회적 행동을 확장하는 과정을 보여준다. 동시에 잘못된 기억이 함께 남으면 취소된 규정대로 행동하는 오류도 발생할 수 있음을 확인한다.
10. 11:42
    1강 한 장 정리 사실·경험·작업 기억의 차이와 각각의 역할, 그리고 기억이 성능에 미치는 영향을 한 번에 정리한다. 실패를 기록하되 테스트 품질을 확인하고, 기억에는 생성 시각과 마지막 접근 시각을 함께 남기는 실무 팁을 제시한다.
11. 13:39
    질문 · 100만 토큰이면 기억 문제가 풀릴까 컨텍스트 창을 아주 크게 늘리면 기억 문제를 해결할 수 있지 않느냐는 반론을 던진다. 이 질문은 이후 강의에서 긴 입력이 실제로는 왜 충분하지 않은지 실험으로 검증된다.
12. 14:00
    실습 01 · 준비물과 모델 받기 개인 PC에 기억 시스템을 띄우기 위한 준비물과 로컬 모델·API 선택 방법을 안내한다. 하인드 사이트를 띄워 세션 A에서 저장한 사실을 세션 B가 다시 답하게 만드는 실습 목표를 설정한다.
13. 15:00
    실습 01 · 프롬프트로 서버 띄우기 로컬 서버를 127.0.0.1에만 열고, 하인드 사이트의 MCP 도구를 연결하는 절차를 설명한다. 저장용 리테인과 조회용 리콜을 분리해 비동기 저장 문제까지 점검한다.
14. 16:21
    실습 01 · 세션 A에서 저장하고 세션 B에서 묻기 세션 A에서 저장한 사실이 새 세션 B에서 실제로 검색되어 답변에 반영되는 과정을 확인한다. 저장·검색 시간과 비용, 그리고 별도 측정 환경이 답에 섞이지 않게 하는 방식도 함께 보여준다.
15. 17:45
    실습 01 · 데이터 흐름 그리기 기억 데이터, 임베딩, 대화 기록이 어디에 저장되고 어디로 나가는지 흐름도를 그려보라고 강조한다. 모델 호출 로그와 개인정보가 어디에 남는지도 함께 점검해야 함을 보여준다.
16. 18:39
    컨텍스트는 기억이 아니다 컨텍스트 창이 커져도 기억이 따로 필요한 이유를 정확도 저하 실험으로 설명하는 장으로 들어간다. 이번 강의의 초점이 작업 기억과 창 관리라는 점을 분명히 한다.
17. 19:47
    책상과 서랍 컨텍스트는 순간의 접점 최적화, 기억은 창을 넘어 이어지는 상태 유지로 구분한다. 책상 위에 무엇을 얼마나 올려두느냐가 정확도에 직접 영향을 준다는 문제가 제기된다.
18. 20:14
    Lost in the Middle: 정답의 위치 정답 문단의 위치를 바꾸는 실험에서 가운데에 놓인 정보가 가장 잘 활용되지 않는다는 결과를 보여준다. 긴 입력을 쓸 수 있어도 정확한 배치가 없으면 성능이 떨어진다.
19. 21:47
    NoLiMa: 단어가 겹치지 않을 때 질문과 정답 사이의 단어 겹침을 최소화하면 긴 입력 모델의 유효 길이가 크게 줄어든다는 점을 보여준다. 주장 길이와 실제로 잘 쓰는 길이는 다르며, 유효 길이를 따로 재야 한다고 정리한다.
20. 24:08
    컨텍스트 부패: 길이와 방해 정보 관련 없는 정보가 섞이거나 제시 방식이 나쁘면 정확도가 더 떨어진다는 실험을 소개한다. 중요한 것은 정보의 존재 여부뿐 아니라 어떻게 배열되어 있는가라는 결론을 제시한다.
21. 25:38
    MemGPT: 운영체제처럼 창을 관리하기 컨텍스트 창을 운영체제의 메모리처럼 다루고, 경고·요약·회상 저장소를 두어 창을 관리하는 방식을 설명한다. 장기 대화에서도 상태를 유지하기 위해 함수 호출과 저장소 분리가 필요함을 보여준다.
22. 26:57
    컨텍스트를 고르는 네 가지 방법 필요한 결과를 내기 위한 최소 토큰 집합을 찾는 것이 좋은 컨텍스트 엔지니어링이라고 정의한다. 가벼운 포인터, 압축, 구조화된 노트, 서브에이전트 요약이라는 네 가지 실천법을 제시한다.
23. 27:36
    반론 · 100만 토큰이면 되지 않나 입력 길이가 충분히 커도 실제로 잘 쓰는 길이는 별개이며, 많은 모델이 긴 대화에서 여전히 고전한다는 점을 지적한다. 대용량 컨텍스트가 기억을 대체하지 못한다는 결론을 강화한다.
24. 28:09
    2강 한 장 정리 긴 입력이 항상 정확도를 높이지 않으며 정답의 위치, 단어 겹침, 방해 정보가 성능을 크게 바꾼다고 요약한다. 실무적으로는 핵심 근거를 앞뒤에 두고, 유효 길이를 직접 재며, 창을 압축·구조화해 관리해야 한다.
25. 30:07
    실습 02 · 준비와 연습 메모 넣기 전체 메모를 넣는 방식, 검색해서 넣는 방식, 정답 구간만 넣는 방식을 비교하기 위한 준비를 한다. 실험이 공정하도록 질문·정답 저장을 분리하고, 토큰 상한과 격리 옵션도 통제한다.
26. 31:49
    실습 02 · 세 방식 돌리기 세 방식으로 같은 질문을 여러 번 호출해 입력 토큰과 응답 사용량을 기록한다. 저장소 추정치와 실제 사용량, 그리고 격리 옵션 로그를 함께 확인해 실험의 재현성을 높인다.
27. 32:21
    실습 02 · 표 읽기 다 넣기, 검색해 넣기, 정답 구간만 넣기의 차이를 표로 해석한다. 검색이 놓친 정보와 긴 입력 자체의 효과를 구분해야 하며, 일부 오답은 저장 단계의 누락이나 단어 겹침 문제에서 비롯된다고 설명한다.
28. 33:39
    3강 · AI 기억의 네 가지 종류 기억의 종류를 작업·일화·의미·절차로 나누고, 서랍장 칸처럼 관리해야 한다는 문제의식을 제시한다. 이제부터는 어떤 정보를 어느 칸에 넣을지 분류하는 단계가 핵심이 된다.
29. 34:52
    서베이: 분류의 축은 하나가 아니다 기억을 형태·기능·변화의 세 렌즈로 정리하며, 전통적 장기·단기 구분만으로는 부족하다고 설명한다. 같은 기억이라도 무엇을 위해 쓰는지와 어디에 있는지가 서로 다른 축임을 강조한다.
30. 35:47
    CoALA ①: 작업 기억과 일화 기억 언어 에이전트를 기억 모듈, 행동 목록, 결정 주기로 나누는 인지 아키텍처 관점을 소개한다. 작업 기억은 현재 주기에서만 쓰는 입력·출력 작업대이고, 일화 기억은 지난 경험의 시간순 기록으로 제시된다.
31. 37:01
    CoALA ②: 의미 기억과 절차 기억 의미 기억은 세계와 자신에 대한 사실 지식, 절차 기억은 일을 수행하는 방법에 관한 지식으로 구분한다. 절차 기억을 에이전트가 직접 수정하는 것은 버그와 의도 이탈 위험이 커서 사람이 검토해야 한다고 경고한다.
32. 38:11
    따라 하기 · 반복 작업을 SKILL.md 초안으로 반복 작업 기록을 바탕으로 스킬 문서 초안을 만들게 하는 프롬프트를 제시한다. 절차 기억은 사람이 확인한 뒤 저장해야 안전하다는 원칙을 실전 프롬프트로 옮긴 사례다.
33. 39:38
    Hindsight: 사실과 믿음의 역할 기억을 사실과 믿음으로 분리해 저장해야 근거와 추론이 섞이지 않는다고 설명한다. 세계·경험·의견·관찰 네트워크를 분리하고, 넣기·꺼내기·반성을 각각 다른 연산으로 다루는 구조가 제시된다.
34. 41:01
    원문 예시 · Alice에 대한 네 문장 Alice에 대한 기억 문장을 네 네트워크에 나눠 넣어 사실, 행동, 판단, 요약이 어떻게 분리되는지 보여준다. 같은 문장이라도 종류 이름표와 역할 이름표가 다르게 붙을 수 있음을 확인한다.
35. 42:42
    39.0 → 83.6을 읽는 조건 기억 구조를 붙였을 때 성능이 크게 오른 숫자가 어떤 조건과 채점 모델에서 나온 것인지 정확히 읽어야 한다고 설명한다. 실습용 미니 메모리는 일화·의미·절차만 저장하고 작업 기억은 저장하지 않는 방향으로 설계된다.
36. 44:05
    3강 한 장 정리 코알라의 기억 종류와 하인드 사이트의 사실·믿음 역할은 서로 다른 축이며, 작업 기억은 지금 책상 위에 무엇을 올리느냐의 문제라고 정리한다. 저장 시에는 종류와 판단을 함께 남기고, 절차 수정은 반드시 사람이 검토해야 한다.
37. 45:24
    실습 03 · 준비 SQL라이트 한 파일에 기억을 저장하는 미니 메모리의 기본 골격을 만든다. 넣기와 꺼내기 손잡이를 정의하고, MCP와 터미널 양쪽에서 사용할 준비를 한다.
38. 46:06
    실습 03 · 프롬프트로 미니 메모리 만들기 클레임 테이블에 아이디·내용·종류·저장 시각을 넣고, 작업 기억과 부적절한 타입은 거부하는 저장 규칙을 구현한다. 저장 시각의 표준화와 테스트 통과를 통해 기본 저장소의 동작을 검증한다.
39. 47:50
    실습 03 · Hindsight와 나란히 보기 같은 대화 기록을 하인드 사이트에 넣어 네트워크별로 어떻게 나뉘는지 비교한다. 종류 분류와 사실·믿음 분리는 서로 다른 축이며, 같은 문장도 저장 위치가 달라질 수 있음을 확인한다.
40. 49:32
    4강 · 기억의 일생: 쓰고, 정리하고, 고치기 기억은 쓰는 순간, 정리하는 순간, 고치는 순간에 무너질 수 있으므로 원본과 수정본을 분리해야 한다는 관점을 제시한다. 이번 강의는 특히 쓰기·정리·고치기 과정에서 생기는 손실을 다룬다.
41. 50:53
    Mem0: 쓰기는 추출과 갱신 두 단계 새 메시지에서 기억 후보를 추출하고, 기존 기억과 비교해 추가·갱신·삭제·무시를 수행하는 2단계 쓰기 구조를 설명한다. 긴 대화 기억 시험에서 정확도와 비용을 줄였지만, 완전한 정답은 아니며 이후 버전에서는 추가 중심으로 바뀌었다.
42. 51:53
    HaluMem: 환각은 쓰는 단계에서 생긴다 기억 환각을 추출·갱신·응답 단계로 나눠 따로 채점해야 어디서 틀렸는지 알 수 있다고 설명한다. 실제로 많은 시스템에서 추출과 갱신 단계의 누락과 오류가 누적되어 응답 정확도까지 떨어진다.
43. 54:19
    반복 정리는 쓸모 있던 기억도 망가뜨린다 정리를 반복할수록 성능이 오르지 않고 오히려 유용한 기억까지 망가질 수 있음을 보여준다. 원본을 그대로 두는 것이 중요하며, 자동 요약을 무조건 반복하는 것은 위험하다고 결론낸다.
44. 56:14
    원문 예시 · 18,282토큰이 122토큰이 된 순간 긴 맥락을 매 단계 다시 쓰다가 한 번에 크게 붕괴하는 사례를 원문 숫자로 보여준다. 컨텍스트 붕괴는 특정 방법만의 문제가 아니라 통째로 다시 쓰는 방식 자체의 위험이라는 점을 드러낸다.
45. 56:52
    ACE: 통째로 다시 쓰지 말고 항목만 고친다 맥락을 전체 요약이 아니라 계속 업데이트되는 플레이북으로 보고, 항목 단위 델타만 반영하는 방식을 제안한다. 바인더 전체를 다시 쓰지 않고 한 카드씩 교체하는 방식이 성능과 안정성을 함께 노린다.
46. 57:57
    덮어쓰지 않고 대체하기 삭제 대신 대체 표시를 남겨 원본과 변경 이력을 모두 보존하는 회계식 관리 원칙을 제시한다. 고친 흔적과 옛 값을 함께 남겨야 나중에 무엇이 언제 바뀌었는지 추적할 수 있다.
47. 59:26
    따라 하기 · 덮어쓰여 사라진 사실을 이력으로 예전 버전과 현재 버전을 비교해 사라진 사실을 변경 이력으로 바꾸는 프롬프트를 소개한다. 원문에 없는 사실을 만들지 않도록 제한해 환각을 줄이고, 사람이 확인할 수 있는 변경 목록을 남긴다.
48. 1:01:45
    4강 한 장 정리 기억의 실패 지점은 주로 다시 쓰는 과정이며, 원본은 건드리지 않고 대체만 해야 한다고 정리한다. 기억은 자주 정리한다고 좋아지지 않으며, 요약과 삭제도 반드시 구현과 결과를 확인해야 한다.
49. 1:03:33
    실습 04 · 준비 3강에서 만든 미니 메모리에 원본 기록과 대체 기능을 붙이는 작업을 시작한다. 가상 회사 대화와 예전 버전·현재 버전 메모리 파일을 준비해 이력 관리 실습을 수행한다.
50. 1:04:28
    실습 04 · 원본 기록과 대체 만들기 이벤트 테이블에 원본 대화를 그대로 쌓고, 클레임에는 상태·대체 대상·원본 출처를 붙인다. 원문 인용 검사와 트랜잭션 처리로, 잘못된 인용이나 반쯤 고쳐진 상태가 남지 않게 만든다.
51. 1:07:29
    실습 04 · 이력 조회와 인용 검사 이력 조회에서 옛 기억과 새 기억이 기록 시각 순으로 함께 보이고, 원문 인용이 실제 대화에 있을 때만 저장되는지 확인한다. 실행할 때마다 추출 결과가 조금씩 달라질 수 있으므로 거절된 인용 수와 이력만 신중히 본다.
52. 1:08:21
    1부 정리와 2부 질문 1강부터 4강까지의 핵심을 압축해, 기억은 에이전트가 이어서 일하기 위한 필수 요소이며 컨텍스트는 기억을 대체하지 못한다고 다시 정리한다. 이어지는 2부에서는 어떤 정보를 컨텍스트에 넣어야 하는지, 키워드와 벡터 검색으로 답을 찾는 단계로 넘어간다.

실무 인사이트

• 기억 시스템은 ‘무엇을 저장할지’보다 ‘원본을 어떻게 보존하고, 언제 어떤 형태로 꺼내며, 무엇을 고칠지’까지 함께 설계해야 실제 성능이 안정된다.
• 긴 컨텍스트는 기억의 대체재가 아니라 보조 수단이므로, 핵심 근거는 앞뒤에 배치하고 나머지는 요약·구조화·서브에이전트로 분리하는 편이 실무적으로 유리하다.
• 반복 정리와 덮어쓰기는 누적 오류를 만들기 쉬우므로, 원본 이벤트와 변경 이력을 분리해 남기는 방식이 디버깅과 신뢰성 확보에 가장 효과적이다.