Stop Chunking Like It's 2022 — Yuval Belfer, AI21 Labs

한 줄 핵심

고정 chunk size로는 질의 유형에 따라 손실이 크므로, 여러 크기로 동시에 색인하고 RRF로 합치면 메모리 약간의 증가만으로도 검색 성능을 20~40%까지 끌어올릴 수 있다.

시간별 요약

1. 0:00
   아무것도 아닌 이야기와 chunking이 생긴 이유 검색 시스템에서 chunking은 죽지 않았고, agentic search가 늘어도 대용량 데이터에서는 여전히 중요한 전처리 문제로 남아 있다. Rag가 반복해서 “죽었다”는 말이 나와도, 실제로는 데이터가 많을수록 문서 조직 방식이 성능을 좌우한다.
2. 1:43
   색인은 지루하고 검색 튜닝은 재미있다 색인은 초기에 chunk size를 정해 저장해 두는 지루한 단계이고, 검색은 top-k나 hybrid search를 만지며 즉시 개선을 체감할 수 있는 단계다. 하지만 scale이 커질수록 검색 튜닝만으로는 한계가 있고, 데이터 정렬 방식 자체가 비효율이면 비용만 커진다.
3. 3:23
   질문에 답하지 못하는 World Cup 디렉터리 폴더를 대회별로 잘 나눠도 “가장 많이 우승한 팀은 누구인가” 같은 질문은 각 폴더를 모두 훑고 집계해야만 답할 수 있다. 문서 구조가 질문 유형을 반영하지 못하면 검색은 결국 단순 조회가 아니라 비효율적인 집계 작업이 된다.
4. 4:17
   정보 손실이 있는 압축으로서의 chunking chunk가 너무 크면 문맥은 보존되지만 세부 신호가 사라지고, 너무 작으면 큰 그림이 무너진다. 따라서 chunking은 본질적으로 손실 압축이며, 하나의 정답 chunk size가 존재한다기보다 질의에 따라 유리한 크기가 달라진다.
5. 6:13
   같은 데이터셋의 여섯 가지 복제본 같은 데이터셋을 여러 번 복제해 각기 다른 chunk size를 적용하고, QM sum, Narrative QA, Seinfeld 같은 데이터셋에서 성능을 비교했다. 이 실험은 데이터셋별로 하나의 최적값을 찾기보다, 질의에 따라 결과가 달라진다는 점을 확인하기 위한 설계다.
6. 7:07
   서로 반대 답을 내는 두 개의 Seinfeld 질문 구체적이고 좁은 질문은 작은 chunk size에서 더 잘 맞고, 반대로 맥락이 넓게 퍼진 질문은 큰 chunk size가 유리하다. 같은 데이터셋 안에서도 질문 종류에 따라 순위가 크게 바뀌므로, 단일 chunk size는 항상 어떤 질문에는 불리하다.
7. 8:12
   오라클 실험 각 질의마다 가장 좋은 chunk size를 고를 수 있는 오라클을 가정하면, 고정 chunk size 전략과 큰 성능 격차가 드러난다. 여러 데이터셋에서 chunk size들끼리 성능 곡선이 교차하며, 최적 선택을 질의별로만 바꿔도 recall이 20~40%까지 개선될 잠재력이 확인된다.
8. 9:59
   양쪽 끝 모두의 정보 문제 색인 단계에서는 앞으로 들어올 질의를 모르기 때문에 chunk size를 질의에 맞게 조정할 수 없고, 검색 단계에서는 chunk size가 이미 고정되어 있어 뒤늦게 바꿀 수 없다. 기존의 contextual retrieval처럼 각 chunk를 보강하는 방식도 있지만, 여기서는 고정값 하나에 묶이지 않는 접근이 필요하다는 문제의식이 핵심이다.
9. 11:02
   다중 스케일 색인과 순위 융합 하나의 chunk size 대신 여러 window size로 같은 데이터를 복제해 동시에 색인하고, 질의 시 모든 색인을 병렬로 검색한 뒤 RRF(reciprocal rank fusion)로 합친다. chunk 간 직접 비교가 어렵기 때문에 chunk가 아닌 document 단위 순위를 모아 투표하듯 결합하는 방식이 효과적이다.
10. 13:50
    네 개 데이터셋에서의 결과 QM sum, Narrative QA, Seinfeld, Finance Bench에서 이 방법은 대부분의 recall 구간에서 최고의 고정 chunk size보다 좋거나 그에 준하는 성능을 냈다. 히트맵에서도 전반적으로 더 높은 recall이 확인되며, 일부 데이터셋에서는 20~40% 수준의 개선이 나타났다.
11. 15:24
    메모리 비용은 얼마인가 대신 여러 복제본을 유지해야 하므로 메모리 사용량이 약 2~5배 수준으로 증가한다. 그러나 검색은 병렬화할 수 있고 RRF 비용도 크지 않아 지연시간 영향은 작으며, 앞으로는 필요한 chunk size 개수와 선택 기준을 더 정교하게 정해야 한다.

실무 인사이트

• 질의 유형이 다양하고 데이터가 클수록 단일 chunk size 최적화보다 다중 스케일 색인과 rank fusion이 더 실용적이다.
• 검색 성능 개선이 막힐 때는 모델보다 데이터 조직 방식부터 점검해야 하며, 특히 chunking은 가장 큰 구조적 레버리지일 수 있다.
• 메모리를 추가로 쓰더라도 latency를 크게 늘리지 않고 recall을 높일 수 있으므로, 비용 대비 성능 이득을 수치로 비교해 의사결정하는 것이 중요하다.