From Ingestion to Agents: How AI Teams Build on Document Intelligence — Adit Abraham, Reducto

한 줄 핵심

에이전트가 실제로 작동하려면 모델 자체보다 문서 입력 품질, 파싱·분류·검증·평가를 포함한 데이터 파이프라인 설계가 더 중요하다는 점을 사례와 함께 설득력 있게 보여준다.

시간별 요약

1. 0:00
   Reducto와, 작동하는 에이전트의 덜 매력적인 부분: 데이터 비정형 이미지, PDF, 스프레드시트처럼 다루기 어려운 문서를 실제 AI 팀이 활용할 수 있게 만드는 문서 처리 인프라의 필요성이 강조된다. 수십억 건의 문서를 처리한 경험을 바탕으로, 제품 소개보다 현업에서 바로 적용 가능한 학습을 공유하려는 문제의식이 드러난다.
2. 2:04
   RAG에서 에이전트로: 나쁜 입력은 단계마다 누적된다 질의응답 중심의 RAG 애플리케이션에서 실제 업무를 수행하는 에이전트로 중심축이 이동하면서, 다단계 파이프라인에서 입력 품질의 중요성이 급격히 커진다. 잘못된 컨텍스트나 추출 오류는 다음 단계에서 계속 증폭되므로, 문서 처리의 핵심은 단순 검색이 아니라 정확한 컨텍스트 주입과 수정 가능성에 있다.
3. 5:28
   왜 PDF는 여전히 어렵고, 최전선 모델도 실패하는가 PDF는 오래된 파일 형식이라 시각적 의미, 표 구조, 손글씨, 그래프 같은 인간이 읽는 맥락을 제대로 담기 어렵다. GDP PDF 같은 벤치마크에서 최전선 모델도 낮은 성능을 보이며, 문서를 에이전트가 추론하기 좋은 markdown 같은 표현으로 바꾸는 일이 중요해진다.
4. 7:19
   전통적 CV와 VLMs: 각각의 적절한 위치 기존 OCR 후처리 방식은 레이아웃이 고정된 문서에는 잘 맞지만, 장기적으로는 긴 꼬리 문제를 다루기 어렵다. VLMs는 손글씨나 의미 이해에 강하지만 만능은 아니며, 레이아웃 탐지처럼 결정성과 효율이 중요한 영역에서는 소형 전통 CV 모델이 여전히 유효하다.
5. 9:07
   에이전틱 OCR: 재작성보다 토큰 수준 교정 OCR 결과를 통째로 다시 쓰게 하면 문서의 원문과 달라지는 새로운 오류가 생기기 쉽다. 그래서 필요한 것은 문장을 새로 생성하는 것이 아니라 점, 쉼표, 0과 O 같은 세부를 토큰 단위로 수정하고, 검증-교정 단계를 거쳐 높은 신뢰도의 출력을 만드는 방식이다.
6. 10:42
   표: markdown과 HTML, 그리고 임베딩 모델을 위한 형식 단순한 표는 markdown이 효율적이지만, 병합 셀이 의미를 가지는 복잡한 표는 HTML이 더 적합하다. 동시에 검색을 위해서는 HTML의 태그 잡음이 임베딩 성능을 해치므로, 추론용 표현과 검색용 자연어 표현을 분리해 각각에 맞는 형식을 제공하는 전략이 효과적이다.
7. 13:15
   더 나은 입력은 최전선 모델을 끌어올리고 추론 토큰을 줄인다 원본 PDF보다 구조화된 파싱 결과를 넣으면 Gemini, Anthropic, OpenAI 계열 모델의 성능이 함께 상승한다. 입력 품질이 좋아질수록 모델은 데이터를 해석하는 데 쓰는 reasoning token을 줄이고, 더 빠르게 정답에 도달하며 지연 시간도 낮아진다.
8. 14:41
   분류와 분할을 통한 오케스트레이션 문서 전체를 한 번에 넣는 방식보다, 먼저 올바른 파이프라인으로 분류하고 필요한 부분만 분할해 전달하는 편이 품질과 효율 모두에 유리하다. 긴 paper mail처럼 내용이 불명확한 문서에서는 관련 없는 부분까지 함께 처리하는 것 자체가 목표를 흐리게 만들 수 있다.
9. 16:17
   에이전트 하네스: line charts를 표로, 정밀도와 재현율을 함께 line charts처럼 픽셀 수준 디테일이 중요한 문제는 단일 추론으로 풀기 어렵고, 도구를 가진 에이전트가 반복적으로 시도하며 보정해야 한다. 부모 에이전트가 검증 기준을 세우고 하위 에이전트가 이를 따르게 하면, frontier model의 높은 precision과 문서 처리 서비스의 높은 recall 사이에서 더 나은 균형점을 찾을 수 있다.
10. 18:57
    모든 단계에서의 평가 평가는 최종 정답만 보는 것이 아니라 파싱, 검색, 포맷팅, 실제 운영 모니터링까지 각 단계별로 적용되어야 한다. 입력이 좋아도 검색이 틀리면 전체 성능이 무너지고, 반대로 각 단계의 병목을 분리해 보면 end-to-end agent 성능을 체계적으로 개선할 수 있다.
11. 20:06
    이 흐름이 향하는 곳: 에이전트를 위한 파일 시스템과 CLI 미래의 문서 처리 시스템은 고정된 파이프라인보다, 에이전트가 파일 시스템을 탐색하며 필요한 도구를 선택하는 방식에 가까워진다. content와 metadata를 분리해 저장하고, citation이나 bounding box 같은 부가 정보까지 함께 제공하는 구조가 점점 더 중요해진다.
12. 21:00
    여섯 가지 핵심 정리 파싱 문제를 세분화하고, 적절한 도구를 적절한 작업에 배치하며, 에이전틱 검증과 형식 최적화, 분류·분할, 단계별 평가를 습관화해야 한다. 결국 성공적인 AI 시스템은 과거의 결정적 파이프라인을 그대로 자동화하는 데서 벗어나, 에이전트 중심으로 구조 자체를 다시 짜는 데서 나온다.

실무 인사이트

• 문서 AI의 성패는 모델 선택보다 입력 표현과 파이프라인 분해에 달려 있으므로, 먼저 파싱·검색·포맷팅을 단계별로 측정 가능한 구조로 나누는 것이 좋다.
• 복잡한 문서는 하나의 표현으로 통일하지 말고, 추론용·검색용·검증용 표현을 분리해 각각 최적화해야 한다.
• 실서비스에서는 최종 정확도만 보지 말고, 분류·분할·추출·검증 각 단계의 recall과 precision을 따로 평가해야 병목을 정확히 찾을 수 있다.