Building the Document Context Layer for AI Agents — Jerry Liu, LlamaIndex

한 줄 핵심

AI 에이전트가 문서를 제대로 활용하려면 단순 RAG를 넘어서, 검색·파싱·저장·워크플로를 포함한 문서 컨텍스트 계층을 설계해야 한다는 점을 설명한다.

시간별 요약

1. 0:00
   2026년의 RAG: 에이전트 하네스와 컨텍스트 계층 RAG의 중심은 더 이상 단순 검색이 아니라, 에이전트가 문서 위에서 동작하도록 받쳐 주는 실행 환경과 컨텍스트 계층으로 이동했다. 문서 기반 데이터가 여전히 가장 큰 자산이며, 이를 제대로 풀어내는 것이 핵심 과제다.
2. 1:33
   순진한 top k 검색에서 검색을 추론하는 에이전트로 초기의 RAG는 문서를 chunk로 나누고 임베딩한 뒤 top K 검색으로 답을 생성하는 고정형 파이프라인이었다. 이제는 에이전트가 적절한 키워드와 검색어를 스스로 추론해 더 나은 결과를 얻는 방식으로 바뀌고 있다.
3. 3:11
   컨텍스트는 위로 올라가고, 프로그램은 영어에 가까워진다 컨텍스트 창을 아끼는 문제보다 MCP 서버, 스킬, 태스크를 어떻게 연결할지가 더 중요해졌다. 동시에 프로그램과 실행 절차는 코드보다 영어로 정의하는 방향으로 이동하며, 장기적으로는 목표와 평가 기준만 주고 에이전트가 수행하는 형태로 진화한다.
4. 5:15
   컨텍스트가 전부다: 문서 컨테이너 속 10조 페이지 에이전트의 가치와 한계는 결국 접근 가능한 컨텍스트의 질과 양에 달려 있다. SharePoint, Box, Dropbox, S3 같은 저장소에 갇힌 비정형 문서와, PDF·PowerPoint·Word·Excel에 담긴 10조 페이지 규모의 지식을 꺼내는 것이 중요하다.
5. 6:52
   세 가지 계층: 파싱, 의미 저장, 문서 워크플로 문서 플랫폼은 문서를 읽기 쉬운 형태로 바꾸는 파싱 계층, 문서를 인간과 에이전트가 관리하는 의미 저장 계층, 반복 업무를 자동화하는 워크플로 계층으로 나뉜다. invoice processing, KYC, claims처럼 반복성이 높은 일은 일반 에이전트보다 특화된 워크플로가 더 적합하다.
6. 8:27
   문서 OCR이 어려운 이유: PDF는 쓰여진 것이 아니라 그려진 것이다 PDF는 기계가 읽기 좋은 형식이 아니라 화면 표시용으로 그려진 형식이어서, 텍스트·표·읽기 순서를 그대로 이해하기 어렵다. Word doc과 PowerPoint도 구조 정보는 있지만 불필요한 태그와 숨은 복잡성이 많아, 해석 가능한 표현으로 바꾸는 작업이 필요하다.
7. 10:46
   파이프라인, 일괄 VLM, 그리고 그 사이의 하이브리드 전통적인 규칙·파이프라인 방식은 저렴하고 안정적이지만, 시각 구조 이해가 약하다. 반대로 VLM 일괄 처리 방식은 유연하지만 비싸고 환각 위험이 있으며, 둘을 결합한 하이브리드가 비용과 정확도의 균형점에 가깝다.
8. 13:29
   ParseBench: 인간 검증 2,000페이지와 50개 모델 ParseBench는 표, 차트, 내용 충실도, 의미 있는 서식을 평가하는 기업용 문서 벤치마크다. 2,000개의 인간 검증 페이지와 약 50개의 모델 비교를 통해 문서 이해가 아직 충분히 해결되지 않았음을 보여 준다.
9. 15:08
   고정확도, 저비용, 저지연의 서로 다른 운용 구간 금융·보험처럼 오류 비용이 큰 영역은 거의 100%에 가까운 정확도가 필요하고, 대규모 문서 색인은 비용 중심의 저가 파이프라인이 더 적합하다. 실시간 업로드처럼 처리 시간이 중요한 경우에는 VLM 중심 방식만으로는 부족해 지연을 줄일 별도 설계가 필요하다.
10. 16:45
    에이전트 루프 안의 LightParse LightParse는 빠르고 무료인 Rust 기반 파서로, 에이전트가 먼저 대량 문서를 빠르게 훑는 기본 도구로 쓰기 좋다. 이후 표나 차트처럼 더 깊은 이해가 필요한 경우에만 Llama Parse 같은 VLM 기반 도구를 호출하는 식으로 속도와 정밀도를 분리한다.
11. 18:46
    인용이 포함된 추출, 문서 검색, 그리고 다음 단계 문서에서 구조화된 값을 뽑아 데이터베이스나 후속 시스템으로 보내는 추출 기능은 인보이스, 영수증, 계약, 클레임 같은 업무 자동화에 직접 연결된다. 모든 추출 결과에 원문 인용과 confidence score를 붙여 신뢰성을 확보하고, 검색 도구도 BM25·grep·vector search·reading·scrolling까지 넓게 제공한다.

실무 인사이트

• 문서 RAG의 성패는 검색 정확도만이 아니라, 파싱·저장·추출·감사 가능한 인용까지 포함한 전체 문서 계층 설계에 달려 있다.
• 실무에서는 '한 번에 정확히'보다 '빠른 1차 통과 후 필요한 페이지만 고정밀 처리'가 비용과 지연을 가장 안정적으로 낮춘다.
• 규제 산업이나 대량 문서 업무라면, 에이전트가 읽기만 하는 것이 아니라 구조화 추출 결과를 원문 근거와 함께 남기도록 설계해야 운영 리스크를 줄일 수 있다.