Grep or Embeddings? Agentic Search Over Company Documents — George He, LlamaIndex

한 줄 핵심

회사 문서 검색에서는 코드처럼 단순한 로컬 탐색만으로는 한계가 있으므로, 하이브리드 검색·파싱·메타데이터 필터링·권한 관리를 묶은 하네스로 에이전트가 스스로 검색 전략을 고르게 해야 더 정확하고 신뢰할 수 있다.

시간별 요약

1. 0:00
   소개 LlamaIndex가 기업 문서 검색과 컨텍스트 관리를 어떻게 개선하는지 설명하며, 오늘은 검색 전략의 장단점부터 실제 데모까지 다룬다.
2. 1:12
   에이전트가 벡터 검색이 필요한 시점 모델의 지시 이행과 도구 사용 능력은 좋아졌지만, 대규모 문서나 복잡한 문서를 다룰 때는 여전히 로컬 검색과 사전 색인이 필요하다. 순수 로컬 탐색과 임베딩 기반 검색을 언제, 어떻게 섞을지 판단하는 것이 핵심이다.
3. 2:17
   Claude Code가 임베딩을 건너뛴 이유 Claude Code는 코드가 작고, 구조화되어 있으며, 파일 시스템 탐색만으로도 충분한 경우가 많아 사전 색인 없이 동작했다. 다만 색인 동기화와 유지보수 비용이 커지면 벡터 검색을 유지하는 것이 오히려 불리해질 수 있다.
4. 3:27
   코드가 다루기 쉬운 이유 코드는 텍스트 형태로 이미 디스크에 있고, semistructured하며, import·test 같은 단서가 있어 탐색 경로가 자연스럽게 드러난다. 그래서 사전 검색 없이도 에이전트가 로컬 파일 시스템을 따라가며 잘 찾아낼 수 있다.
5. 3:57
   회사 문서는 다르다 회사 문서는 PDF, 이미지, PowerPoint가 뒤섞이고, 폴더 구조도 코드처럼 정돈되어 있지 않다. 보안, 권한, 포맷 다양성, 대규모 동기화 문제가 겹치므로 MCP 서버나 지침 파일 같은 하네스가 필요해진다.
6. 5:17
   중요한 것은 규모다 파일 수가 수백 개 수준이면 로컬 탐색이 충분할 수 있지만, 수천·수백만 개로 커지면 매번 전체를 읽는 방식은 토큰과 비용 면에서 비현실적이다. 이때는 대략적인 방향을 잡아주는 검색 계층이 필요하다.
7. 6:32
   큰 컨텍스트는 공짜가 아니다 컨텍스트 윈도우가 커져도 모든 문서를 그대로 밀어 넣는 방식은 여전히 비싸고 비효율적이다. 바이너리나 대용량 데이터를 모델에 직접 넣는 대신, 검색과 추출을 더 앞단에서 해결해야 한다.
8. 7:12
   서브 에이전트는 비용이 커진다 작업을 작은 에이전트로 분할해도 각 서브 에이전트가 여전히 충분한 컨텍스트를 필요로 하므로 토큰과 지연이 크게 든다. 반복적으로 문서를 재처리하기보다 사전 색인 체계를 두는 편이 더 효율적이다.
9. 8:22
   에이전트가 선택하게 두기 검색 방식은 시스템이 고정적으로 정하기보다 에이전트가 도구를 조합해 선택하도록 만드는 것이 좋다. 파일명 필터링, 메타데이터 필터링, 의미 기반 검색, 파일 순회가 함께 있어야 답변을 더 잘 근거화할 수 있다.
10. 8:57
    문서 검색을 위한 다섯 가지 도구 검색의 방향을 잡는 도구와, 후보 문서를 좁히는 도구, 실제 내용을 읽는 도구를 분리해야 한다. 특히 다중 페이지 문서나 스캔본은 렌더링된 화면까지 함께 검색할 수 있어야 한다.
11. 10:52
    도구 1: 하이브리드 검색 엔터프라이즈 문서 검색에서는 키워드 검색과 의미 기반 검색을 결합한 하이브리드 방식이 가장 실용적이다. 여기에 LLM 기반 재정렬을 더하면 초기 후보의 한계를 줄이고 검색 품질을 높일 수 있다.
12. 11:57
    도구 2–4: 목록, 필터, grep 초기 검색으로 얻은 방향을 바탕으로 파일 목록을 훑고, 메타데이터로 좁히고, grep으로 특정 패턴을 찾는 흐름이 중요하다. 이렇게 하면 원격 파일 시스템에서도 필요한 부분만 효율적으로 파고들 수 있다.
13. 12:42
    도구 5: 복잡한 문서 읽기 차트, 스캔 문서, 도면처럼 단순 텍스트가 아닌 문서는 일반적인 청킹만으로는 충분하지 않다. 문서를 매번 다시 읽지 않도록 사전 파싱과 사전 색인을 통해 구조를 먼저 드러내야 한다.
14. 13:27
    LlamaParse와 LiteParse LlamaParse와 LiteParse는 표, 차트, 분절된 정보를 markdown 같은 구조화된 형태로 추출하는 데 초점을 둔다. 동시에 렌더링된 스크린샷도 저장해야 문서의 공간적 맥락까지 함께 다룰 수 있다.
15. 14:22
    파싱 품질 측정 OCR이 표 구조와 레이아웃을 얼마나 충실하게 보존하는지가 이후 검색 품질을 좌우한다. 초기에 구조를 잘못 읽으면 LLM이 나중에 의미를 해석할 때도 오류가 누적된다.
16. 15:17
    권한과 최신성 멀티 테넌시 환경에서는 권한 메타데이터를 유지하면서도 재색인 비용을 최소화해야 한다. 데이터가 복잡할수록 최신성과 권한 동기화가 어려워져 사전 색인만으로는 한계가 생긴다.
17. 15:57
    수집, 파싱, 색인 동기화 과정은 문서 수집, 표준 형식으로의 파싱, 그리고 사전 색인 상태로의 내보내기라는 세 단계로 보는 것이 유용하다. 이 흐름이 있어야 검색 도구들이 안정적으로 같은 데이터를 활용할 수 있다.
18. 16:42
    저장소와 메타데이터 필터링 대규모 문서는 디스크와 메모리를 함께 쓰는 계층형 저장이 현실적이다. 메타데이터는 벡터 저장소 단계에서 함께 관리해야 대량 문서에서도 권한과 조건별 필터링이 잘 작동한다.
19. 17:47
    Alphabet 재무 보고서 데모 135개 파일로 구성된 Alphabet 재무 문서에서 하이브리드 검색과 메타데이터 필터링, 페이지 스크린샷을 함께 사용해 후보 문서를 좁힌다. 검색 결과와 시각적 맥락을 함께 보며 정확한 조각을 찾는 방식이 효과적임을 보여준다.
20. 20:07
    원격 파일의 grep과 읽기 데모 grep으로 위치를 찾고, 해당 오프셋만 read로 가져오면 로컬에 전체 파일을 내려받지 않아도 된다. 이 방식은 대규모 원격 저장소에서도 토큰과 다운로드 비용을 줄여준다.
21. 20:47
    현금흐름 표 만들기 데모 에이전트가 검색, 스크린샷 확인, 재검색을 반복하면서 여러 파일에서 근거를 모아 2021년부터 2025년까지의 현금흐름을 표로 정리한다. 단일 문서가 아니라 여러 소스에 걸친 근거를 통합할 때 답변 신뢰도가 높아진다.
22. 22:52
    핵심 정리 검색은 정보를 찾게 해주고, 하네스는 그 결과를 신뢰할 수 있게 만든다. 결국 좋은 에이전트 검색은 적절한 도구 조합과 문서 처리 파이프라인 위에서 완성된다.

실무 인사이트

• 회사 문서 검색은 '벡터 검색 vs grep'의 이분법보다, 하이브리드 검색으로 후보를 좁히고 grep·read로 근거를 확인하는 다단계 설계가 실무에 더 적합하다.
• 파싱 품질과 메타데이터 설계가 검색 성능의 선행 조건이므로, OCR 정확도·레이아웃 보존·권한 동기화를 먼저 점검해야 한다.
• 대규모 문서 환경에서는 모델 컨텍스트를 키우는 것보다, 에이전트가 검색 도구를 스스로 선택하도록 하네스를 잘 설계하는 편이 비용 대비 효과가 높다.