Where RL Will Take Search — Maximilian-David Rumpf, SID.ai

한 줄 핵심

강화학습으로 검색 에이전트를 학습하면 기존 검색 파이프라인보다 훨씬 더 정확한 결과를 내면서도, 비용과 지연을 크게 줄일 수 있다는 주장이다.

시간별 요약

1. 0:00
   에이전트형 검색은 더 좋지만 훨씬 비싸다 에이전트는 기존 검색보다 정답 문서를 더 잘 찾지만, 질의당 비용이 100~1000배 높고 응답도 분 단위로 느리다. 그래서 메인 에이전트 대신 검색만 담당하는 서브 에이전트를 학습시키는 방향이 핵심 문제로 제시된다.
2. 2:11
   기존 파이프라인이 무너지는 지점 전통적 검색은 질의 변환, 검색, reranker를 직렬로 붙인 고정 파이프라인이라 설계 시점의 결정이 그대로 굳어진다. 결과가 부족해도 reranker는 행동을 바꿀 수 없기 때문에, 예상 밖 질문이 들어오면 긴 실패 꼬리가 쌓이고 예외 처리만 늘어난다.
3. 3:27
   기계 설계가 인간 설계를 또 이긴다 컴퓨터 비전과 체스에서 그랬듯이, 검색도 사람이 규칙을 넣는 방식에서 모델이 스스로 전략을 찾는 방식으로 이동한다고 본다. 하나의 모델이 검색, 읽기, 재검색, 필터 조정, 랭킹까지 반복적으로 수행하며 질문에 맞게 계산량을 동적으로 쓴다.
4. 5:08
   검색이 강화학습의 이상적인 대상인 이유 검색은 정답 문서를 찾았는지 여부를 비교적 명확히 검증할 수 있어 보상 설계가 쉽고, 한 문제를 수천 번씩 시도할 수 있어 RL 학습 환경으로 적합하다. 또한 검색에는 언어모델의 모든 능력이 필요하지 않으므로, 더 특화된 정책이 빠르게 성능을 끌어올릴 수 있다.
5. 6:46
   20배 더 빠르고, 100배 더 싸다 학습된 SID one 계열 모델은 병렬 실행과 결합할 때 평균 약 2분이 걸리던 작업을 약 5초로 줄였고, frontier model 대비 비용도 약 100배 낮췄다. 아직 vector와 reranker 파이프라인 수준의 지연에는 완전히 도달하지 않았지만, 그 격차는 빠르게 좁혀질 것으로 본다.
6. 7:36
   나쁜 결과를 메인 컨텍스트 밖으로 빼기 검색 서브 에이전트가 실패 후보와 잡음을 먼저 걸러내면, 메인 에이전트의 컨텍스트에는 좋은 결과만 남겨 정확도가 올라간다. 동시에 메인 에이전트가 쓰던 30~50%의 검색 토큰을 더 저렴한 서브 에이전트로 넘길 수 있어 비용 효율도 크게 개선된다.

실무 인사이트

• 검색 품질과 비용을 함께 최적화하려면, 검색을 메인 작업의 일부가 아니라 별도 서브 루프로 분리해 설계하는 편이 유리하다.
• RAG나 검색 시스템에서 중요한 것은 단순히 더 많이 찾는 것이 아니라, 잘못된 후보를 메인 컨텍스트에 들이지 않는 구조다.
• 정답 검증이 가능한 도메인에서는 RL을 적용해 모델이 스스로 탐색 전략을 학습하도록 두는 것이 규칙 기반 튜닝보다 확장성이 높다.