Your Agent Doesn't Need an LLM for Every Decision - Raymond Weitekamp, OpenProse

한 줄 핵심

이 영상은 모든 결정을 LLM에 맡기기보다, 빠르고 저렴한 결정 모델을 계층적으로 조합해 컴퓨터·브라우저·음성 인터페이스를 제어하는 새로운 에이전트 구조를 제안한다.

시간별 요약

1. 0:00
   시스템 1과 결정 모델의 재정의 시스템 1은 빠른 직관적 판단에 가깝고, 이를 AI 시스템에 적용하면 생성보다 판정과 선택에 특화된 결정 모델로 볼 수 있다. 핵심 질문은 복잡한 추론처럼 보이는 작업도 사실은 많은 작은 결정의 합으로 풀 수 있느냐는 점이다.
2. 7:01
   재귀적 결정 모델의 기본 구조 재귀적 결정 모델은 상위 모델이 하위 결정을 호출하고, 컨텍스트는 외부에 두며, 최종적으로는 결정만으로도 동작해야 한다는 원칙을 가진다. 생성형 LLM 없이도 게임, 이미지 분할, 계층적 탐색 같은 문제를 매우 빠른 다단계 판단으로 처리할 수 있다.
3. 18:01
   탐색·비전·게임에서의 적용 예시 Shopify 상품 분류 탐색처럼 큰 검색공간을 한 번에 다 보지 않고, 매 단계에서 다음 탐색 대상을 좁혀 가는 방식이 효율적이다. 비전과 게임에서도 작은 결정들의 재귀적 조합만으로 의미 있는 행동 선택이 가능하며, 이는 일부 컴퓨터 사용 작업이 생각보다 단순한 결정 문제일 수 있음을 보여준다.
4. 27:01
   생성형 모델과 결합하는 지도와 중재자 결정 모델만으로는 미리 열거된 행동만 다룰 수 있으므로, LLM이 지도(map)를 편집·확장하고 결정 모델이 그 지도에서 선택하는 구조가 필요하다. 여러 저비용 결정을 병렬로 돌릴 때는 충돌을 막기 위해 중재자(arbiter)가 어떤 결정만 상태에 반영할지 통제해야 한다.
5. 37:02
   Operating System One과 오디오 기반 제어 이 작업의 궁극적 목표는 키보드·마우스에 덜 의존하는 Operating System One, 즉 음성부터 시작해 컴퓨터를 직접 조작하는 인터페이스를 만드는 것이다. 실시간 오디오 분류와 신뢰도 판단을 결합하면, 아주 작은 모델도 빠르게 학습하며 사람의 입력을 거의 즉시 반응하는 제어계로 바뀔 수 있다.

실무 인사이트

• 에이전트 설계에서 모든 문제를 LLM 추론으로 해결하려 하지 말고, 미리 정의된 행동 공간을 빠른 결정 모델로 먼저 좁히는 구조를 검토할 만하다.
• 여러 저비용 모델을 병렬 실행할 때는 성능보다도 상태 충돌 방지가 핵심이므로, arbiter 같은 반영 게이트를 설계하는 것이 중요하다.
• 음성·실시간 센서 입력처럼 지연에 민감한 영역에서는 생성형 응답보다 작은 분류기와 점진적 신뢰 축적이 더 실용적일 수 있다.