Robots Will Be Trained on Video Games - Pim de Witte, General Intuition

한 줄 핵심

비디오 게임에서 수집한 방대한 행동 데이터를 이용해, 로봇과 컴퓨터 환경 모두에 적용되는 픽셀→행동 모델을 학습시키면 기존 LLM보다 더 빠르고 실용적으로 실제 세계의 과제를 풀 수 있다.

시간별 요약

1. 0:00
   소개 인터넷 전체로 과학 문제를 푸는 모델을 학습시키는 비유를 통해, 이 작업도 대규모 행동 데이터를 바탕으로 새로운 문제를 푸는 접근이라는 점을 제시한다.
2. 0:41
   행동과 예측의 차이 LLM은 토큰을 예측하는 동안 환경이 함께 변하지 않는 경우에 강하지만, 로봇처럼 행동하면서 동시에 관찰해야 하는 문제에는 한계가 있다. 행동은 관찰과 실행이 동시에 일어나는 폐루프 문제이므로, 그에 맞는 전용 모델이 필요하다.
3. 1:54
   Medal에서 시작한 게임 녹화 대규모 게임 녹화 서비스인 Medal을 인터넷처럼 보고, 수많은 게임 플레이 영상에서 행동 데이터와 프레임을 함께 수집하는 출발점을 만든다. 이 데이터는 인간이 게임에서 쓰는 조작 능력을 로봇 조작으로 확장할 수 있는 기반이 된다.
4. 2:27
   게임 컨트롤러는 이미 로봇을 구동한다 게임의 행동 공간과 원격조작 로봇의 행동 공간은 상당 부분 동일하며, 많은 로봇이 이미 게임 컨트롤러로 제어된다. 따라서 입력과 행동의 대응을 학습한 뒤, 시각 입력과 텍스트 지시를 받아 적절한 행동을 출력하는 모델로 이어질 수 있다.
5. 3:28
   LLM과 행동 모델의 차이 LLM은 정적인 텍스트 생성에 최적화된 반면, 행동 모델은 카메라나 화면에서 들어오는 연속 프레임을 보면서 즉시 행동을 내보낸다. 사람처럼 픽셀을 행동으로 바꾸는 문제에 초점을 맞추면, 코딩보다 훨씬 동적이고 공간·시간이 중요한 환경을 다룰 수 있다.
6. 5:21
   모터 수학을 건너뛰고 컨트롤러를 쓴다 로봇 제어를 토크나 모터 값까지 직접 예측하는 문제로 보지 않고, 이미 인간이 쓰기 쉬운 형태로 추상화된 컨트롤러를 그대로 활용한다. 이렇게 하면 복잡한 물리 계산을 모델이 대신할 필요가 줄고, 실제로 사용 가능한 제어 방식에 가까워진다.
7. 6:21
   한 달 1.5조 개의 행동 토큰 Medal은 연간 수십억 개의 영상이 올라오며, 이를 행동 토큰으로 환산하면 월 1.5조 개가 넘는 규모가 된다. 로보틱스 모델 학습에 쓰이는 기존 데이터 규모와 비교하면 압도적으로 크기 때문에, 확장성 측면에서 강한 우위를 가진다.
8. 7:14
   월드 모델과 환경 이 접근은 단순히 모델을 키우는 것이 아니라, 월드 모델을 통해 추가 환경을 생성하고 그 안에서 학습을 반복하는 방향으로 확장된다. 사람과 같은 입력 모달리티에서 바로 배우면 디지털 트윈이나 복잡한 검증 단계를 거치지 않아도 되어 학습 속도가 빨라진다.
9. 8:55
   게임이 행동 밀도가 높은 이유 게임은 짧은 시간에 많은 조작이 필요한 고행동 밀도 환경이라서, 드론 조종이나 미세 제어가 필요한 로봇 작업에 좋은 학습 원천이 된다. 또한 모델이 어떤 키를 눌렀는지뿐 아니라 그 의미까지 학습하므로 해석 가능성에도 도움이 된다.
10. 9:52
    하나의 모델, 10개 이상의 로봇 올해 모델을 공개할 예정이며, 동일한 원리로 10개가 넘는 로봇 종류를 실시간으로 제어할 수 있는 단일 모델을 목표로 한다. 이 모델은 게임 플레이와 로봇 조작을 같은 프리미티브로 묶어, 인간처럼 화면을 보고 행동하는 일반적 에이전트의 가능성을 보여준다.
11. 12:03
    그 위에 무엇을 만들 수 있는가 실사용에서는 여전히 상위 오케스트레이터 모델이 장기 계획을 맡고, 이 행동 모델은 실행 계층으로 연결되는 구조가 된다. 로봇을 공간과 시간 안에서 안정적으로 조작할 수 있게 되면, 연구실 자동화 같은 새로운 비즈니스와 제품이 빠르게 생겨날 수 있다.
12. 13:36
    접근성 활용 이 모델은 컴퓨터를 사람처럼 다룰 수 있어, 한 팔만 쓰는 사용자처럼 입력이 제한된 사람의 컴퓨터 사용을 보조할 수 있다. 게임 플레이나 시뮬레이션 탐색처럼 사람이 직접 하기 번거로운 작업에서도 자연스럽게 활용될 수 있다.
13. 14:54
    팀과 해커톤 뉴욕에 있는 팀은 월드 모델, 정책 모델, 데이터·환경 생성의 세 축으로 나뉘며, 특히 환경 생성 쪽이 엔지니어에게 좋은 진입점으로 제시된다. 11월 말 또는 12월 초 공개를 앞두고 뉴욕과 런던에서 해커톤도 열릴 예정이다.
14. 17:10
    JEPA와의 차이 JEPA는 행동 라벨 없이 표현을 학습하는 더 이론적인 접근이지만, 단기적으로는 행동 라벨을 함께 학습하는 방식이 훨씬 실용적이다. 특히 비행기 조종처럼 영상만으로는 알기 어려운 조작까지 다루려면, 풍부한 행동 데이터에 직접 의존하는 쪽이 유리하다.

실무 인사이트

• 로봇 학습을 물리 시뮬레이션 중심이 아니라, 이미 사람이 대량 생산하는 게임 행동 데이터 중심으로 재정의하면 데이터 규모와 속도에서 큰 우위를 얻을 수 있다.
• 실제 제품화에서는 단일 모델보다도, 장기 계획용 오케스트레이터와 빠른 실행용 행동 모델을 분리한 계층형 구조가 더 현실적이다.
• 컴퓨터 조작과 로봇 조작을 같은 '픽셀→행동' 문제로 보면, 접근성 도구·UX 평가·시뮬레이션 탐색 같은 파생 시장이 함께 열린다.