It’s Tokens All The Way Down: How RLMs are Different — Kevin Madura, AlixPartners

한 줄 핵심

RLM은 컨텍스트를 단순한 입력 문자열이 아니라 상호작용 가능한 변수로 다루고, 하위 모델과 반복 추론을 통해 긴 문맥·복잡한 데이터·대규모 코드베이스를 더 낮은 비용과 더 안정적인 구조로 처리하게 만든다.

시간별 요약

1. 0:00
   재귀 언어 모델이란 무엇인가 RLM은 컨텍스트를 심볼릭하게 조작할 수 있는 환경의 객체로 다루며, 일반적인 tool call처럼 문자열을 주고받는 방식과 구분된다. 또 같은 모델이든 다른 모델이든 하위 LM에 작업을 위임할 수 있어, 문제를 더 작은 단위로 나누어 처리할 수 있다.
2. 1:36
   재귀적 분해와 하위 모델 위임 복잡한 문제를 재귀적으로 분해해 하위 LM이 다시 판단하고 코드를 작성하도록 넘기는 구조가 핵심이다. 모델이 점점 더 스스로 판단하도록 맡겨도 된다는 관점이 깔려 있으며, 긴 문서를 요약하거나 목차를 만드는 초기 아이디어가 이런 방향성을 보여준다.
3. 3:25
   벤치마크와 비용 곡선 ulong과 browse comp 같은 장문 컨텍스트 벤치마크에서 RLM은 다른 방식보다 더 좋은 성능을 보인다. 특히 GPT5가 BM25 tool을 호출하는 방식보다 더 높은 성능과 더 낮은 비용을 보이는 사례가 있어, 긴 문맥 작업에서는 구조 자체가 효율 차이를 만든다.
4. 4:31
   모델이 중간을 채우는 결정적 껍데기 입력과 출력, 그리고 대략적인 목표만 결정적으로 정의하고 중간 구현은 모델에 맡기는 구조가 잘 맞는다. 이렇게 하면 실제 로직을 사람이 세밀하게 설계하지 않아도 되고, 모델은 주어진 입력과 원하는 출력 사이의 과정을 스스로 구성할 수 있다.
5. 5:24
   컨텍스트 부패와 RLM이 이를 피하는 이유 컨텍스트 윈도우가 가득 차면 성능이 떨어지는 context rot 문제가 발생한다. RLM은 하위 작업을 subLM으로 넘기고 필요한 결과만 돌려받기 때문에 메인 컨텍스트가 덜 붐비며, 실제로 필요한 정보만 남겨 처리할 수 있다.
6. 6:21
   RAG, 에이전트, tool call과의 차이 RAG는 컨텍스트를 단순히 채우는 쪽에 가깝고, 일반적인 agents나 tool calls는 문자열 왕복이 중심이라 실행과 결과 사이의 결합이 느슨하다. 반면 RLM은 컨텍스트와 결과를 변수처럼 직접 다루며, Anthropic의 workflows처럼 유사한 구조가 실제 프레임워크에도 반영되고 있다.
7. 8:00
   언제 쓰고 언제 생략할 것인가 입력이 매우 크거나 밀도가 높을 때, 출력이 방대할 때, 혹은 재귀적으로 분해해야 하는 작업에 특히 적합하다. 반대로 컨텍스트에 충분히 들어가거나 지연 시간이 중요하거나, 모델 자체가 이미 강한 코딩 성능을 가질 때는 굳이 RLM을 쓰지 않아도 된다.
8. 9:38
   작은 예시들, 숨겨진 숫자와 데이터 프레임 30,000 tokens에 흩어진 숫자 합산처럼 단순해 보여도 컨텍스트 전부를 동시에 봐야 하는 작업은 base model보다 코드 기반 접근이 유리하다. 특히 data frame처럼 구조화된 데이터를 RLM이 직접 다루면 JSON 문자열 왕복보다 더 빠르고 정확하게 반복 탐색할 수 있다.
9. 12:35
   코호트 분석 실습과 그 추적 로그 세 개의 data frame을 입력으로 주고 원하는 출력 형식을 정한 뒤 RLM이 자체적으로 코드를 작성하고 실행하게 하면 cohort retention analysis 같은 분석을 자연스럽게 수행할 수 있다. 추적 로그에서는 코드 생성, 중간 판단, 최종 submit까지의 흐름이 드러나며, 최대 반복 횟수만 정해 두고 종료 시점은 모델이 판단한다.
10. 15:45
    사례 연구, invoices, logs, 그리고 전체 codebase PDF, spreadsheet, invoices, logs, codebase 같은 실무 데이터에 RLM을 적용하면 chunking이나 embedding 같은 전통적 컨텍스트 관리 부담이 크게 줄어든다. Predict RLM, Halo, 보안 취약점이 있는 웹앱 분석 사례처럼, 구조화된 schema와 하위 호출을 결합하면 유지보수성과 분석 품질도 함께 좋아질 수 있다.
11. 20:04
    모델이 RLM을 인지하게 되면 일어나는 일 모델이 RLM 방법론을 사전학습 단계에서부터 이해하게 되면, 재귀적 분해와 하위 모델 활용이 훨씬 자연스러워지고 성능도 더 크게 도약할 가능성이 있다. 결국 핵심은 모델이 컨텍스트를 단순 소비하는 수준을 넘어, 그 구조를 적극적으로 활용하는 방향으로 진화하는 데 있다.

실무 인사이트

• 긴 문맥 작업은 프롬프트 길이를 늘리기보다 입력·출력 스키마를 고정하고, 중간 계산은 하위 단계로 분해하는 편이 비용과 안정성 모두에 유리하다.
• RLM을 도입할 때는 본문 모델보다 먼저 harness와 데이터 흐름을 설계해야 하며, 특히 어떤 정보를 메인 컨텍스트에 남기고 무엇을 하위 작업으로 보낼지 정하는 것이 핵심이다.
• 구조화된 데이터, 로그, 코드베이스처럼 재귀 탐색이 가능한 업무는 RLM의 효과가 크므로, 먼저 이런 고밀도 작업부터 파일럿을 돌리는 것이 좋다.