AI on Your Lakehouse: Context Comes in Shapes, Not Queries — Zach Blumenfeld, Neo4j

한 줄 핵심

이 영상은 BigQuery 같은 구조화 데이터와 PDF 같은 비정형 문서를 그래프로 묶어, 에이전트가 텍스트 검색만으로 놓치기 쉬운 문맥을 표, 계층형 목차, 커뮤니티라는 세 가지 ‘shape’로 공급하는 방법을 설명한다.

시간별 요약

1. 0:12
   워크숍은 Graph Academy와 Code Spaces로 바로 실행할 수 있게 구성되어 있으며, Anthropic API key와 BigQuery 키, Neo4j 자격증명을 환경 파일에 넣고 시작한다. 실습은 Claude Code와 MCP 서버를 활용해 그래프 쿼리를 에이전트가 작성하도록 하는 흐름으로 진행된다.
2. 2:02
   핵심 문제는 데이터 접근이 아니라, 에이전트가 정답에 필요한 문맥을 올바른 형태로 받지 못하는 데 있다. 대규모 warehouse와 대량 문서 환경에서는 text-to-SQL과 vector search만으로는 필요한 slice를 안정적으로 잡아내기 어렵다.
3. 6:00
   해결책으로 세 가지 shape를 제시한다: structured 데이터에는 connection shape, unstructured 문서에는 table of contents shape, 그리고 전체 문서군의 패턴 탐색에는 themes shape를 쓴다. 이 접근은 질문 유형에 따라 문맥을 다른 구조로 공급하는 방식이다.
4. 22:02
   connection shape는 BigQuery 스키마를 메타데이터 그래프로 바꿔 semantic layer처럼 사용한다. 데이터 자체를 그래프로 ETL하는 것이 아니라, 테이블·컬럼·조인 경로의 구조를 제공해 에이전트가 올바른 join을 찾도록 돕는다.
5. 43:00
   table of contents shape는 문서를 폴더-문서-섹션의 containment tree와 문서 간 링크로 그래프화한다. 이렇게 하면 에이전트가 단순 검색이 아니라 URI를 따라 하위 섹션과 연결 문서를 탐색하며 문맥을 확장할 수 있다.
6. 1:09:02
   search shape는 Lucene 스타일의 full-text search를 쓰되, hierarchical URI를 post-filter로 적용해 특정 하위 트리 아래만 검색하게 한다. 문서명과 링크명을 잘 설계하면 semantic expansion까지 결합해 검색 정확도를 높일 수 있다.
7. 1:21:02
   themes shape는 문서 링크 구조를 그래프 데이터 과학의 Leiden community detection으로 군집화해, 문서 집합 전체의 주제 덩어리를 드러낸다. LLM 요약 없이도 브레이크, 전기, 회로 같은 자연스러운 패턴을 찾을 수 있고, 규모가 커질수록 이런 전역 관점이 유용하다.
8. 1:39:00
   마지막 실습에서는 세 shape를 조합해 실제 현장 질문을 푼다. 특정 DTC 코드의 수리 이력은 connection과 search로, 문서 누락과 불일치는 outline과 search로, 전체 문서 coverage는 themes와 warehouse 조인으로 답하는 식이다.
9. 1:52:00
   구조화 데이터와 비정형 문서를 직접 연결하지 않아도 에이전트가 실시간으로 필요한 코드와 문서를 매칭할 수 있지만, 더 큰 규모나 더 높은 결정성이 필요하면 나중에 연결을 추가할 수 있다. 핵심은 ‘데이터를 어디에 넣느냐’보다 ‘질문에 맞는 문맥 shape를 어떻게 제공하느냐’다.

실무 인사이트

• 대규모 lakehouse에서는 검색 방식보다 먼저 질문 유형별로 문맥 공급 구조를 분리해야 하며, 구조화 데이터는 connection, 문서는 outline, 전역 탐색은 themes로 나누는 것이 효과적이다.
• 에이전트 정확도를 높이려면 데이터 자체보다 메타데이터 품질이 중요하므로, 테이블 조인 경로, 문서 URI, 링크 이름 같은 스키마 외부 구조를 먼저 정교하게 설계해야 한다.
• LLM 추출에만 의존하지 말고 deterministic load와 graph analytics를 섞으면, 비용과 변동성을 낮추면서도 충분히 강력한 문맥 탐색을 구현할 수 있다.