From Raw Documents to AI-Ready Data — Leo Platzer & Jeff Koss

한 줄 핵심

문서가 많은 기업에서 RAG 챗봇을 만들 때는 원문을 그대로 넣는 것이 아니라, 관련성·민감도·중복·최신성을 정리한 AI-ready 데이터로 바꿔야 정확도와 운영성이 함께 올라간다.

시간별 요약

1. 0:00
   소개 행사 시작과 함께 발표가 열리고, 발표 주제는 비정형 문서를 AI-ready 데이터로 바꿔 생산 단계까지 가는 방법이다.
2. 0:18
   Deasy Labs와 Collibra Collibra가 Deasy Labs를 인수했으며, 구조화 데이터 거버넌스에 강한 Collibra와 비정형 데이터에 강한 Deasy Labs의 결합이 핵심 배경으로 제시된다.
3. 1:01
   중단된 POC에서 운영 단계로 작은 시범은 성공했지만 대규모 운영으로 넘어가지 못하는 문제를, 문서 정제와 큐레이션을 통해 생산 단계로 전환하는 방식으로 풀겠다는 방향이 잡힌다.
4. 1:11
   법무 운영 챗봇 시나리오 대규모 제조기업이 SharePoint에 쌓인 수많은 문서 중에서 계약서와 협약서를 골라 법무·구매팀용 실시간 챗봇을 만들려는 사례가 제시된다.
5. 2:11
   누가 무엇이 필요한가 데이터 정확성, 관련 파일 선별, 민감정보 차단, 법무 답변 품질, 그리고 여러 유스케이스에 재사용 가능한 프레임워크가 각 이해관계자의 요구로 정리된다.
6. 3:25
   40개 파일은 통한다 사전 선별된 40개 파일 정도라면 파싱, 청킹, OCR, 임베딩, 벡터DB, 지식 그래프로 간단한 파일럿이 가능하고 응답 품질도 괜찮다.
7. 3:55
   80,000개 파일은 다르다 파일 수가 80,000개 이상으로 늘어나면 필요한 문서를 찾기 어렵고, 민감정보 위치도 모호하며, 데이터 품질 자체를 신뢰하기 어려워진다.
8. 4:25
   문서에 대한 데이터 품질 문서 품질은 일반적인 완전성·정합성보다 중복 여부, 충돌 여부, 최신성, 그리고 메타데이터가 챗봇 컨텍스트에 얼마나 도움이 되는지가 더 중요하게 다뤄진다.
9. 5:05
   증상들 잘못된 답변, 민감정보 유출, 파일 탐색에 드는 과도한 시간, 유지보수의 어려움이 대규모 문서 챗봇의 대표적 실패 징후로 제시된다.
10. 6:35
    분류 체계로 태깅하는 데모 SharePoint 문서를 불러온 뒤, 사용자 정의 태그·재사용 태그·AI 자동 추천을 섞어 분류 트리를 만들고 법무와 계약 관련 파일만 세분화해 태깅하는 과정을 보여준다.
11. 9:04
    근거가 있는 메타데이터 태깅 결과에는 문서 범주뿐 아니라 왜 그렇게 분류했는지에 대한 근거 구간이 함께 제공되고, 좋아요·싫어요 피드백으로 예시 학습도 가능하다.
12. 10:04
    민감정보 찾기 PII, PHI뿐 아니라 국가별 식별자처럼 도메인 특화 민감정보도 AI와 패턴 기반 탐지를 함께 써서 찾고, 오탐을 줄이는 방향이 강조된다.
13. 10:54
    중복, 충돌, 최신성 중복 문서와 상충 문서를 정리하고, 날짜 범위로 최신성을 걸러내며, 반드시 필요한 메타데이터만 남겨 데이터 슬라이스를 만드는 방식이 설명된다.
14. 11:54
    데이터 슬라이스와 추천 분류 체계 유스케이스 설명을 넣으면 적절한 태그 계층과 분류값이 자동 제안되고, 사람은 그중 필요한 것만 선택해 법무용 데이터 슬라이스를 빠르게 구성할 수 있다.
15. 13:33
    데이터를 최신 상태로 유지하기 스케줄 기반 워크플로로 SharePoint의 신규·삭제 파일을 자동 반영해 데이터 슬라이스와 벡터DB의 메타데이터가 오래되지 않도록 유지한다.
16. 14:13
    결과: 4개월에서 며칠로 데이터 준비 시간이 4개월에서 며칠로 줄고, 파일 선정과 메타데이터 활용으로 챗봇 정확도가 높아지며, 민감정보 차단으로 컴플라이언스 위험도 줄어든다.
17. 15:00
    중복이 검색을 망치는 이유 중복과 오래된 정보가 검색 공간을 오염시키면 상위 검색 결과가 무의미해지고, 특히 문서의 진실이 시간에 따라 바뀌는 경우 잘못된 컨텍스트가 고착된다.
18. 16:54
    오래된 데이터가 컨텍스트의 80%를 차지할 수 있다 원시 코퍼스의 일부가 stale하거나 중복되면, 에이전트가 실제로 쓰는 컨텍스트의 대부분이 무의미한 정보로 채워질 수 있어 관리가 필수적이다.
19. 17:39
    결과: 약 2배의 재현율 같은 과제에서 중복 제거와 최신성 관리만으로 재현율이 거의 2배, 작업 완료율도 10~15%가량 개선되어 데이터 품질의 효과가 수치로 확인된다.
20. 18:29
    코딩 에이전트를 위한 컨텍스트 파일 데모 SharePoint 폴더별 메타데이터를 묶어 context.md 같은 파일로 만들면, Claude Code나 Codex가 개별 파일을 일일이 보지 않고도 폴더의 목적과 사용 시점을 이해할 수 있다.
21. 20:36
    마무리 샘플 데이터를 가져오면 메타데이터 생성, 민감도 리포트, 데이터 품질 리포트, 분류 체계 설계를 함께 해주겠다고 제안하며 발표가 끝난다.

실무 인사이트

• RAG 성능은 임베딩 모델만의 문제가 아니라, 중복·최신성·민감도·분류 체계를 정리한 데이터 품질 설계에서 크게 좌우된다.
• 대규모 문서 환경에서는 ‘전체를 넣기’보다 유스케이스별 데이터 슬라이스를 만들고, 근거가 있는 메타데이터를 붙여 검색 공간을 줄이는 편이 실무적으로 더 효과적이다.
• 문서 큐레이션 결과를 챗봇뿐 아니라 코딩 에이전트용 컨텍스트 파일로 재사용하면 토큰 비용과 탐색 시간을 함께 줄일 수 있다.