[한영자막] AI 에이전트를 위한 문서 컨텍스트 레이어 구축하는 법 — Jerry Liu, LlamaIndex

한 줄 핵심

2026년의 RAG는 단순 검색이 아니라, 에이전트가 문서 컨텍스트를 스스로 찾고 해석하며 실행까지 이어가도록 돕는 컨텍스트 레이어와 하네스의 결합으로 재정의된다.

시간별 요약

1. 0:00
   2026년의 RAG: 에이전트 하네스와 컨텍스트 레이어 RAG는 이제 문서에 답을 붙이는 기능이 아니라, 에이전트가 문서 기반 업무를 수행하도록 돕는 핵심 인프라로 설명된다. 핵심 축은 에이전트 하네스와 컨텍스트 레이어이며, 문서 안에 잠긴 방대한 지식을 실제 작업으로 연결하는 데 초점이 맞춰진다.
2. 1:19
   단순 Top-K 검색에서 스스로 검색어를 고민하는 에이전트로 초기 RAG는 문서를 청킹해 vector database에 넣고 top-K로 꺼내는 고정 절차에 가까웠다. 지금은 검색 복잡성이 에이전트 계층으로 올라가면서, 에이전트가 어떤 검색어를 써야 할지 스스로 추론하고 검색 도구를 반복 호출해 문제를 푼다.
3. 2:57
   상위 스택으로 이동하는 컨텍스트와 자연어 프로그래밍 컨텍스트 관리의 초점은 단순히 context window를 줄이는 데서, 어떤 MCP servers와 skills, tasks를 연결할지 설계하는 방향으로 이동한다. 동시에 프로그램과 업무 절차를 code보다 English로 정의하는 흐름이 강해지며, 장기적으로는 목표와 채점 기준만 주고 에이전트가 실행하는 형태로 발전한다.
4. 5:01
   컨텍스트가 전부다: 문서에 갇힌 10조 페이지의 지식 에이전트의 성능이 좋아져도 가치 창출은 결국 올바른 컨텍스트 접근권에 달려 있다. 특히 SharePoint, Box, Dropbox, S3 같은 저장소에 갇힌 문서와 PDF, PowerPoint, Word, Excel 안에는 10 trillion+ pages 규모의 지식이 묶여 있어 이를 여는 것이 핵심 과제로 제시된다.
5. 6:38
   문서 인프라의 3대 레이어: 파싱, 시맨틱 저장소, 워크플로 문서용 에이전트 플랫폼은 파싱 레이어, 시맨틱·저장 레이어, 워크플로 레이어의 세 축으로 구성된다. 파싱은 문서를 토큰 효율적인 형태로 바꾸고, 저장 레이어는 에이전트가 문서를 관리하게 하며, 워크플로는 invoice processing, KYC, claims처럼 반복 업무를 특화된 방식으로 자동화한다.
6. 8:13
   문서 OCR이 어려운 이유: PDF는 쓰인 것이 아니라 그려진 것 PDF는 기계가 읽기 쉽게 저장된 형식이 아니라 화면 출력과 인쇄를 위해 그려진 형식이라서, 텍스트와 표의 구조를 바로 해석하기 어렵다. Word와 PowerPoint도 XML 기반의 복잡한 구조와 불필요한 태그가 많아, 의미와 레이아웃을 재구성하는 파싱이 필요하다.
7. 10:32
   파이프라인 방식과 단발성 VLM, 그리고 하이브리드 접근법 전통적인 heuristic·pipeline 기반 문서 이해와 VLM으로 한 번에 읽는 방식은 각각 장단점이 분명하다. 파이프라인은 저렴하고 구조적이며, VLM은 시각적 맥락을 잘 읽지만 비용과 환각 문제가 있어, 둘을 결합한 hybrid approach가 비용·정확도 관점의 Pareto frontier에 가깝다고 본다.
8. 13:15
   ParseBench: 인간 검증 2,000페이지와 50개 모델 벤치마크 ParseBench는 2,000장의 인간 검증 페이지로 구성된 엔터프라이즈 문서 벤치마크로, 표·차트·semantic formatting·content faithfulness를 평가한다. 약 50개의 frontier model, open-weight model, OCR 솔루션을 비교해 문서 이해가 아직 완전히 해결되지 않았음을 보여준다.
9. 14:54
   고정확도, 저비용, 초저지연의 3가지 처리 영역 문서 처리에는 고정확도, 저비용, 초저지연이라는 서로 다른 요구가 존재한다. 규제 산업은 거의 100%에 가까운 정확도를 원하고, 대규모 색인은 비용 효율이 중요하며, 실시간 업로드 환경은 VLM만으로는 속도 한계가 커서 별도의 저지연 경로가 필요하다.
10. 16:31
    에이전트 루프에 탑재되는 Rust 파서 LightParse LightParse는 Rust 기반의 초고속 오픈소스 파서로, VLM 없이도 매우 빠르고 정확하게 Markdown으로 변환해 기본 경로로 쓰기 좋다. 에이전트는 먼저 LightParse로 대량 문서를 빠르게 훑고, 표나 차트가 필요한 경우에만 Llama Parse 같은 VLM 기반 도구로 깊게 들어가는 구성을 따른다.
11. 18:32
    출처 기반 정보 추출과 문서 검색의 미래 문서 저장·검색 계층은 구조화된 결과를 대량 추출해 downstream database나 system에 넣는 데 초점이 있다. 각 추출값에 source citation과 confidence score를 붙여 신뢰도를 높이고, retrieval, BM25, grep, vector search, reading and scrolling을 조합해 문서 검색 도구의 범위를 확장한다.

실무 인사이트

• 문서 RAG를 설계할 때는 검색 품질만 볼 것이 아니라, 에이전트가 어떤 검색어를 만들고 어떤 도구를 언제 호출할지까지 포함해 하네스를 함께 설계해야 한다.
• 대규모 문서 업무에서는 단일 모델보다 저지연 파서, 고정확도 VLM, 구조화 추출, 출처 링크를 역할별로 분리한 다층 파이프라인이 운영 효율이 높다.
• 실무 적용 시에는 정확도·비용·지연시간을 하나의 목표로 묶지 말고, 규제 문서, 대량 색인, 실시간 처리처럼 사용 사례별로 다른 최적점을 따로 잡아야 한다.