How we taught agents to use good retrieval - Hanna Lichtenberg, Mixedbread AI

한 줄 핵심

에이전트 성능의 병목은 추론 자체보다 올바른 문서를 찾는 검색 능력이며, 이를 위해 검색 도구 설계·루프·학습을 함께 바꾸면 지식 검색 격차를 크게 줄일 수 있다.

시간별 요약

1. 0:00
   LLM의 추론 성능은 빠르게 좋아졌지만 검색은 느리게 개선되어, 실제 업무에서 필요한 지식 접근이 병목이 되는 상황을 'knowledge gap'으로 정의한다. BrowseComp Plus와 Office QA Pro에서 Oracle 대비 기본 도구의 성능이 크게 떨어지는 사례로, 문제의 핵심이 추론이 아니라 올바른 지식 접근임을 보여준다.
2. 3:01
   더 좋은 검색 도구를 붙이면 대부분의 성능을 회복할 수 있지만, 모델이 작성하는 쿼리는 종종 키워드 나열식이라 검색 시스템을 제대로 활용하지 못한다. 그 원인은 코드 검색식 패턴 학습, 사람처럼 보이려는 웹 검색 습관, BM25에 유리한 벤치마크 편향에 있다.
3. 5:01
   이 문제를 해결하기 위해 빠르고 정확하고 저렴한 검색 에이전트를 만들고, 그 기반으로 강한 harness를 설계한다. overview search, main semantic search, filter chunks, grep의 4개 도구를 두고, 최대 4라운드와 병렬 검색을 허용해 탐색 폭과 속도를 동시에 확보한다.
4. 7:01
   에이전트는 사용자 질의와 초기 semantic search 결과, 사용 가능한 metadata 힌트를 함께 보고 검색 계획을 세운다. 각 검색 의도를 최대 4개로 나눠 적절한 도구를 선택하고, 중복 청크는 제거해 컨텍스트 낭비를 막은 뒤 충분한 증거가 모이면 답을 제출한다.
5. 10:01
   학습은 더 작은 LLM을 대상으로 SFT와 on-policy RL을 결합해 검색 전략 자체를 최적화한다. 보상은 NDCG와 LLM judge 기반의 retrieval reward, 자연스러운 문장성·탐색량·쿼리 품질을 보는 trajectory reward로 구성되며, 실제로 Oblique Congress와 match QA에서 의미 있는 성능 향상을 보인다.

실무 인사이트

• 검색 에이전트를 만들 때는 모델 성능보다 먼저 도구 종류, 검색 라운드 수, 병렬화, 중복 제거 같은 harness 설계를 고도화해야 실제 성능이 오른다.
• 프롬프트에는 'search query를 써라'보다 '무엇을 찾고 싶은지 한 문장으로 설명하라'처럼 사고 틀을 바꾸는 지시가 검색 품질 개선에 유리하다.
• 평가는 최종 정답률만 보지 말고, 쿼리 자연스러움·탐색 적절성·랭킹 품질까지 함께 봐야 검색 에이전트의 병목을 정확히 잡을 수 있다.