The unreasonable effectiveness of BM25 for agentic search — Jo Kristian Bergum, Hornet.dev

한 줄 핵심

Agentic search에서는 LLM의 일반 지식과 쿼리 재작성 능력이 강해지면서, 설명 가능하고 정확한 BM25가 여전히 매우 강력한 검색 기초가 된다.

시간별 요약

1. 0:00
   30년 된 스코어링 함수의 귀환 에이전트가 수행하는 작업 안에서 필요한 정보를 찾는 검색을 ‘agentic search’로 정의하고, 이를 위해서는 유능한 모델, 모델에 검색을 노출하는 하네스, 그리고 검색 엔진이 모두 필요하다는 점을 짚는다. BM25는 오래된 함수지만, 에이전트 환경에서 다시 중요한 기반 기술로 부상하고 있다.
2. 2:19
   Best Match 25와 이름의 유래 BM25는 쿼리와 문서의 단어 상호작용으로 관련도를 점수화하는 스코어링 함수이며, 이름은 실험 25번이 가장 좋은 결과를 냈기 때문에 붙었다. 핵심은 함수 자체가 아니라 상위 K 문서를 빠르게 찾는 검색 시스템과 결합될 때의 효용이다.
3. 3:37
   함수는 변하지 않았고, 사용자가 변했다 BM25가 다시 유효해진 이유는 함수가 바뀌어서가 아니라, LLM이 풍부한 일반 지식을 가진 더 강력한 사용자로 바뀌었기 때문이다. 에이전트는 한 번의 검색으로 끝내지 않고 여러 번 쿼리를 재작성할 수 있어, 단일 쿼리 중심의 전통적 평가 방식은 점점 덜 중요해진다.
4. 4:57
   830개의 수수께끼 벤치마크 browsecom plus는 약 830개의 긴 수수께끼형 질문으로 구성된 딥리서치 벤치마크이며, search 도구 하나와 약 10만~10만5천 개 문서만으로 끝까지 정답을 맞히는지 본다. 이 벤치마크는 검색 품질이 에이전트의 최종 정확도에 직접 영향을 준다는 점을 보여준다.
5. 6:01
   컨텍스트 윈도우는 플로피 디스크 같다 모델의 컨텍스트 윈도우는 한계가 있는 저장 공간이므로, 필요한 정보를 외부에서 검색해 넣어야 한다는 비유를 든다. browsecom plus에서도 검색 품질이 좋을수록 최종 정답률이 높아져, retrieval이 핵심 병목임이 드러난다.
6. 7:05
   추론이 병목은 아니다 정답에 필요한 증거 문서를 처음부터 컨텍스트에 넣으면 정확도가 매우 높아지므로, 문제는 추론 능력보다 검색된 증거를 얼마나 잘 가져오느냐에 있다. 에이전트는 검색-읽기-쿼리 재작성의 루프로 움직이며, 결국 컨텍스트에 무엇을 채울지 결정하는 retrieval이 성능을 좌우한다.
7. 8:37
   모델이 쿼리를 구성하는 방식 GPT5의 검색 쿼리 궤적을 분석해보면, 인간의 짧은 검색어 패턴보다 훨씬 길고 구체적인 쿼리와 site 같은 연산자를 적극적으로 사용한다. 즉, 에이전트는 단순한 검색 사용자가 아니라 검색 문법을 활용하는 고급 사용자에 가깝다.
8. 9:44
   어떤 BM25를 말하는가? BM25는 구현, 파라미터, 성능 차이에 따라 결과가 크게 달라지며, browsecom plus의 기본 BM25는 긴 문서에 맞지 않아 성능이 좋지 않았다. 반면 BM25는 엔티티, 이름, SKU 같은 정확한 일치가 중요한 정보에 강하고, 비용이 낮고, 결과를 모델이 해석하기 쉬워 여전히 강력하다.
9. 12:06
   검색된 문서를 파일 시스템처럼 다루기 빌리언 규모 문서를 컨텍스트에 직접 넣을 수 없기 때문에, 검색 결과를 작업 공간에 넣고 파일 시스템처럼 계층적으로 노출하는 방식이 유용하다. 제목과 스니펫만 먼저 보여주고 필요할 때 더 읽게 만드는 progressive disclosure는 에이전트의 도구 사용 방식과 잘 맞는다.
10. 14:42
    전통적 평가는 끝났다 한 번의 쿼리와 한 번의 랭킹 리스트를 기준으로 NDCG를 재던 전통적 정보검색 평가는, 쿼리를 재작성하고 여러 번 검색하는 에이전트에는 잘 맞지 않는다. 이제는 개별 랭킹보다 과업 성공 여부를 평가해야 하며, Hornet은 100 million web documents를 단일 노드에서 효율적으로 다루는 BM25 구현을 강조한다.
11. 16:32
    기억할 네 가지 주장 첫째, 더 빠르게 쓰고 읽고 재작성할 수 있는 새로운 사용자인 에이전트 때문에 단순한 도구가 더 강해졌다. 둘째, BM25는 구현과 파라미터에 따라 다르므로 어떤 BM25인지 구분해야 한다. 셋째, BM25는 모델이 결과를 이해하고 재질문하기 쉬워 설명 가능성이 높다. 넷째, BM25와 검색은 함께 쓸 때 에이전틱 검색의 강한 조합이 된다.

실무 인사이트

• 에이전트 검색의 성능 개선은 모델 교체보다 검색 쿼리 재작성, 결과 노출 방식, 문서 청킹 같은 하네스·컨텍스트 설계에서 더 크게 나올 가능성이 높다.
• BM25를 ‘쓸지 말지’보다 긴 문서·파라미터·구현 차이를 먼저 점검해야 하며, 정확한 엔티티 검색이 중요한 업무에서는 여전히 강한 기본값이 된다.
• 평가 지표는 NDCG 같은 단일 랭킹 품질보다, 에이전트가 최종 답을 맞히는지와 검색-읽기-재검색 루프가 얼마나 안정적인지로 바꿔야 한다.