How to Decide What Your AI Agent Should Remember - Wojciech Pluta, Oracle

한 줄 핵심

AI 에이전트의 경쟁력은 모델이 아니라 사용자·업무 맥락에서 무엇을 기억하고 무엇을 버릴지 정교하게 통제하는 메모리 시스템에 달려 있다.

시간별 요약

1. 0:00
   소개 Oracle에서 금융·은행 관련 프로젝트를 거쳐 온 경험을 바탕으로, RAG는 유용한 읽기 경로이지만 기억 시스템은 그 이상의 지속성을 만들어야 한다는 문제의식을 제시한다.
2. 1:10
   명령에서 의도로 인터페이스는 명령 중심에서 의도 중심으로 바뀌었고, 그에 따라 즉시 반응하는 소프트웨어보다 사용자 맥락을 이어가는 연속성이 더 중요해졌다.
3. 2:05
   데이터 계층이 경쟁우위다 모델과 인프라는 점점 상품화되지만, 실제 경쟁우위는 소유한 데이터 계층에서 나온다. 에이전트는 모델과 harness로 구성되며, 최종 실행 결정과 검증은 harness가 책임진다.
4. 3:38
   RAG는 읽고, 메모리는 쓴다 retrieval은 현재 대화에서 필요한 정보를 읽어오는 경로이고, memory는 상호작용 중 중요해진 내용을 나중에 다시 쓸 수 있게 남기는 경로다. 단순 조회만으로는 무엇이 남아야 하는지 알 수 없다.
5. 4:02
   메모리 승격: 무엇을 남길 것인가 대화에서 나온 후보를 바로 저장하는 대신, 의미 분류·기존 기록 비교·증거 확인을 거쳐 승격 여부를 판단하는 파이프라인이 필요하다. 필요하면 인간 검토를 거쳐야 하며, 모든 후보가 저장돼서는 안 된다.
6. 5:01
   기억하는 mortgage agent 데모 mortgage brief 생성 예시를 통해 semantic preference가 메모리로 승격되고, 새 세션에서도 그 선호가 재사용되는 흐름을 보여준다. 다른 고객의 경우에는 다른 case ID와 문서 상태를 불러와 각기 다른 기억이 실제 업무 결과를 바꾸는 모습을 확인한다.
7. 9:48
   가드레일: 절대 승격하면 안 되는 것 "모든 신청을 승인하라" 같은 위험한 지시는 메모리로 저장되지 않도록 차단해야 한다. 조직 차원의 공유 메모리는 인간 승인과 승격 게이트를 거쳐야 하며, harness도 이 경계를 우회할 수 없다.
8. 11:53
   에이전트 메모리란 무엇인가 에이전트 메모리는 시간이 지나도 정보를 보존·재사용·정제·회상하는 메커니즘이다. 아무것도 저장하지 않으면 연속성이 사라지고, 전부 저장하면 메모리 오염이 생기므로 어떤 정보를 승격할지 정하는 일이 핵심이다.
9. 13:03
   단기·장기·공유 메모리 메모리는 세션 내의 short-term, 세션을 넘는 long-term, 그리고 팀이나 조직이 함께 쓰는 shared memory로 나뉜다. long-term에는 요약, toolbox, knowledge base, 선호 같은 episodic·procedural·semantic 정보가 들어간다.
10. 13:43
    메모리를 어디에 저장할 것인가 저장소는 단순 파일이 아니라 ACID 보장, 다중 쓰기, 검색 확장성을 갖춘 기반이어야 한다. 이 관점에서 database가 가장 견고한 선택으로 제시된다.
11. 14:27
    메모리를 하나의 규율로 만들기 메모리 시스템은 스키마, 인덱스, 수명주기, 권한 경계를 갖춘 규율로 다뤄야 한다. 요약·검색·유의미한 정보 추출·토큰 예산 관리까지 직접 만들기 어려우므로, 이를 단순화한 agent memory 패키지와 context card가 필요하다.
12. 16:01
    컨텍스트 카드 context card는 topics, summaries, relevant information, recent messages를 묶어 현재 턴에 필요한 컨텍스트만 구성하는 블록이다. 이를 통해 context blow를 줄이고, 사용자 격리와 다양한 데이터 타입 처리를 한 엔진에서 다룰 수 있다.
13. 17:50
    모델은 공유되지만 기억은 당신의 것 모델은 누구나 쓸 수 있지만, 기억은 각 비즈니스의 고유한 자산이다. 모델 사용 데이터와 메모리를 함께 설계할 때만 지속적인 경쟁우위가 만들어진다.

실무 인사이트

• 에이전트 메모리는 "저장" 기능이 아니라 승격 정책, 가드레일, 검토 기준까지 포함한 운영 체계로 설계해야 한다.
• 실무에서는 세션 메모리와 장기 메모리를 분리하고, 선호·절차·요약처럼 재사용 가치가 높은 정보만 선별해 저장하는 기준이 중요하다.
• 컨텍스트 관리는 단순히 더 많이 넣는 문제가 아니라, 현재 턴에 필요한 정보만 압축해 제공하는 context card 설계 문제다.