Better Search Took This AI Agent From 36% to 98% Accuracy - Aamir Shakir, Mixedbread

한 줄 핵심

멀티모달·다국어 검색을 제대로 설계해 데이터 접근성을 높이면, 에이전트의 정확도는 36%에서 98%까지 올라가고 추론 비용도 크게 줄어든다.

시간별 요약

1. 0:00
   Mixedbread 소개 Mixedbread는 검색 품질이 떨어지는 문제를 해결하려고 출발한 연구 조직이며, PDF·스프레드시트·이미지·영상·오디오까지 100개 이상의 언어로 검색 가능한 멀티모달·다국어 검색 제품을 만든다. 자체 모델, 자체 데이터베이스, 자체 인제스트 파이프라인을 갖춰 보안과 개인정보 요구사항을 맞추면서도 에이전트가 바로 활용할 수 있게 만든다.
2. 1:30
   주식 분석가 문제 금융 분석가는 방대한 리서치 문서와 인터뷰 속에서 특정 질문의 근거를 찾아야 하지만, 단순한 로컬 검색은 관련성 높은 문서를 제대로 좁히지 못해 비용만 커진다. 특히 PDF에는 스캔본·이미지·비정형 표가 많아 텍스트만으로는 중요한 정보에 접근하기 어렵다.
3. 3:30
   핵심 병목 RAG 파이프라인은 보통 파싱부터 시작하지만, 이 단계부터 정보 손실이 누적되기 때문에 뒤의 검색 품질도 같이 무너진다. 결국 문제는 한 번에 검색 가능한 형태로 데이터를 얼마나 잘 만들고, 그 손실을 얼마나 줄이느냐에 있다.
4. 4:00
   OCR·청킹·벡터로 만드는 프랑켄슈타인 스택 오디오 전사, PDF OCR, 청킹, 임베딩, 벡터DB, 재랭킹이 순차적으로 붙지만 각 단계가 모두 손실적이라 표와 다이어그램, 레이아웃 정보가 쉽게 사라진다. 그래서 OCR, 청킹 전략, 임베딩 모델, 벡터DB, 랭킹을 각각 따로 고르고 검증해야 하며, 결과적으로 수개월과 인력이 들어가도 근본적으로는 제한된 시스템이 된다.
5. 6:02
   벡터DB만 추가해서는 부족한 이유 벡터DB를 넣는다고 자동으로 해결되지 않는 이유는 임베딩이 문맥의 미세한 차이를 충분히 구분하지 못하기 때문이다. 특히 재무 보고서처럼 구조가 비슷한 문서들은 서로 거의 같은 점으로 표현되기 쉬워, 문서 수가 늘수록 정확도는 급격히 떨어지고 에이전트는 이를 보완하려고 더 많은 질의를 날리며 비용을 키운다.
6. 8:26
   병목은 데이터 접근성 문제의 핵심은 지능이 아니라 데이터와 지식에 접근하는 방식이며, 앞으로는 지능 모델과 데이터 접근 계층이 분리될 것으로 본다. 그래서 Mixedbread는 어떤 모델을 쓰더라도 필요한 데이터를 제대로 꺼낼 수 있게 만드는 검색 인프라에 집중한다.
7. 9:04
   검색 기술의 진화 검색은 BM25 같은 키워드 매칭에서 시작해 2022년의 임베딩 모델로 진화했지만, 최근까지는 점진적 개선에 머물렀다. 새로 제시하는 late interaction 모델은 문서와 질의에 여러 임베딩을 사용해 페이지 안의 세부 정보와 전체 문맥을 동시에 잡아내며, 더 정교한 검색과 에이전트용 사용성을 제공한다.
8. 11:08
   Intel 실적 보고서 검색 데모 Intel 실적 보고서를 올린 뒤 표와 그림이 있는 페이지를 기준으로 질의를 수행하면, 단순 OCR보다 시각적 레이아웃과 문맥을 함께 반영해 관련 페이지를 잘 찾아낸다. 복잡한 질문은 agentic search가 여러 차례 질의를 분해해 처리하고, 결과는 bounding box와 함께 근거를 추적할 수 있어 분석의 신뢰도를 높인다.
9. 14:57
   고객 성과: 정확도 36%에서 98%로 기존의 청킹·임베딩·벡터DB 조합은 고객 사례에서 정답률 36%에 머물렀지만, 더 나은 검색으로 바꾸자 98%까지 올라갔다. 동시에 LLM 토큰 사용량도 3배 줄어들어, 검색 품질 개선이 정확도와 비용 절감에 함께 직결된다는 점이 확인됐다.

실무 인사이트

• 에이전트 성능을 올리려면 모델 자체보다 먼저 데이터 접근 경로와 검색 품질을 개선하는 것이 우선이다.
• 표·그림·레이아웃이 중요한 문서에서는 텍스트 임베딩만으로는 한계가 크므로, 멀티모달 검색과 근거 추적 가능성이 실무적으로 중요하다.
• 검색 정확도가 올라가면 재질의와 불필요한 토큰 소모가 줄어들어, 품질 개선이 곧 비용 절감으로 이어진다.