[한영자막] 에이전트 검색에서 30년 된 BM25가 놀랍도록 강력한 이유입니다

한 줄 핵심

에이전트 검색에서는 LLM의 추론 능력보다 검색·쿼리 생성·컨텍스트 관리가 더 큰 병목이며, 그래서 30년 된 BM25가 설명 가능하고 저렴한 핵심 도구로 다시 강해졌다.

시간별 요약

1. 0:00
   30년 된 검색 스코어링 함수의 귀환 에이전트가 수행하는 작업 안에서 정보를 찾아 쓰는 검색이 핵심 문제로 떠오르면서, 오래된 lexical 스코어링 함수인 BM25가 다시 중요한 역할을 한다. 좋은 에이전트 검색 시스템은 모델, 모델에 검색을 노출하는 하네스, 그리고 대규모 문서에서 빠르게 찾는 검색 엔진의 세 가지가 함께 맞물려야 한다.
2. 2:06
   Best Match 25, 이름의 유래 BM25는 실험 25번이 가장 좋았다는 의미에서 이름이 붙은 점수 함수이며, 쿼리와 문서의 단어 상호작용으로 관련도를 계산한다. 본질은 문서 전체를 점수화해 top K를 찾는 방식이고, 지난 수십 년간 그 검색을 어떻게 더 빠르게 만들지 연구가 이어져 왔다.
3. 3:24
   함수는 그대로, 사용자가 바뀌었다 BM25 자체는 거의 변하지 않았지만, LLM이 일반 지식과 엔티티 지식을 갖춘 더 강한 사용자가 되면서 가치가 커졌다. 기존에는 BM25가 단순한 baseline이었지만, 에이전트는 한 번의 검색으로 끝나지 않고 여러 번 쿼리를 재작성하므로 평가 방식도 단일 질의 중심에서 벗어나야 한다.
4. 4:44
   830개 수수께끼 질문 벤치마크 (BrowseComp+ BrowseComp+는 약 830개의 수수께끼형 질문으로 구성된 deep research 벤치마크이며, 모델은 search 도구 하나만 사용해 웹 문서에서 답을 찾아야 한다. 정답은 골든 레퍼런스로 비교되기 때문에, 검색과 전체 루프가 실제로 정답을 만들어내는지를 끝까지 확인할 수 있다.
5. 5:48
   컨텍스트 윈도우는 플로피 디스크와 같습니다 컨텍스트 윈도우는 약 350,000 tokens 수준에서 품질이 떨어지는 제한된 저장공간처럼 다뤄져야 하며, 필요한 정보만 골라 넣기 위해 retrieval이 필수다. BrowseComp+는 검색 품질이 최종 정확도에 직접 영향을 주며, 검색이 없으면 단순히 문서를 다 넣는 방식이 아니라는 점을 분명히 보여준다.
6. 6:52
   추론 능력은 병목이 아닙니다 정답에 필요한 근거 문서를 미리 넣어주면 GPT-4 같은 모델도 높은 정확도를 보이므로, 문제의 핵심 병목은 추론 자체보다 검색 하네스와 쿼리 생성 능력에 가깝다. 에이전트는 검색 결과를 읽고 쿼리를 다시 바꾸며, 정답을 찾거나 컨텍스트 윈도우가 차기 전까지 이 과정을 반복한다.
7. 8:24
   에이전트 모델이 쿼리를 작성하는 방식 GPT-5는 사람의 짧은 검색어와 달리 더 긴 질의, 사이트 연산자, 구문적 제약을 활용해 훨씬 풍부한 쿼리를 만든다. 이는 모델이 단순 사용자보다 더 강한 검색 행위자가 되었음을 뜻하며, 검색 로그 패턴 자체가 바뀌고 있음을 보여준다.
8. 9:31
   당신이 말하는 BM25는 어떤 BM25인가요? BM25는 하이퍼파라미터와 구현에 따라 성능 차이가 크며, 특히 긴 문서와 새로운 사용 패턴에서는 기본 설정이 충분하지 않을 수 있다. 그럼에도 exact matching은 엔티티, ZIP code, SKU처럼 임베딩으로 다루기 어려운 정보를 잘 처리하고, 비용이 낮고 결과를 모델이 해석하기 쉽다는 장점이 있다.
9. 11:53
   검색된 문서를 파일 시스템 워크스페이스로 활용하기 검색 결과를 단순한 리스트가 아니라 파일 시스템 형태의 워크스페이스로 다루면, 제목·스니펫에서 시작해 점진적으로 더 읽는 방식으로 컨텍스트를 확장할 수 있다. grep, sed, awk 같은 도구와 sandbox, VFS, bash를 결합하면 모델이 잘하는 작업 흐름에 맞춰 검색과 문서 조작을 동시에 활용할 수 있다.
10. 14:29
    고전적 정보 검색 평가의 종말 이제는 한 번의 쿼리와 하나의 랭크 리스트로 NDCG를 재는 전통적 평가만으로는 에이전트 검색을 충분히 설명할 수 없다. 에이전트는 쿼리 재작성, 확장, 다중 검색을 수행하므로 실제 업무가 맞는지, 예를 들어 질문응답이면 정답을 맞히는지를 기준으로 평가해야 한다.
11. 16:19
    발표를 요약하는 4가지 핵심 메시지 핵심은 새로운 사용자가 더 빠르게 읽고 쓰며 재질의할 수 있는 더 강한 사용자라는 점, BM25는 구현과 파라미터에 따라 크게 달라진다는 점, BM25와 grep의 조합이 설명 가능하고 강력한 에이전트 검색 패턴이라는 점, 그리고 전통적 검색 평가는 에이전트 시대에 재정의되어야 한다는 점이다.

실무 인사이트

• 에이전트 검색 품질을 올리려면 모델 성능보다 먼저 쿼리 생성, 검색 하네스, 컨텍스트 주입 경로를 점검하는 것이 효과적이다.
• BM25는 구식 기술이 아니라, exact matching이 강한 업무와 해석 가능성이 중요한 에이전트 워크플로에서 여전히 비용 대비 성능이 높은 기본 부품이다.
• 평가를 NDCG 중심의 단발성 검색이 아니라 태스크 성공률과 검색-재작성-읽기 전체 루프로 옮겨야 실제 개선 포인트가 보인다.