You Can't Tell What's Real Anymore. Here's What Comes Next - Cristóbal Valenzuela, Runway

한 줄 핵심

Runway는 영상 생성 모델의 다음 단계가 현실과 구분이 어려운 실시간 상호작용형 세계 시뮬레이터이며, 이를 통해 화면의 모든 것이 시뮬레이션되는 운영 환경으로 확장될 것이라고 주장한다.

시간별 요약

1. 0:00
   소개 Runway에서 거의 10년간 쌓은 경험을 바탕으로, 영상과 픽셀 생성 기술이 어디로 향하는지와 그 과정에서 얻은 학습을 공유한다. 지금의 현실감이 점점 더 커져 실제와 시뮬레이션의 경계가 흐려지고 있다는 문제의식이 출발점이다.
2. 0:50
   Runway의 첫 AI 영화 2019년에 만든 첫 AI 영화 'the orange'를 예시로, 128x128 수준의 거친 생성물이 어떻게 오늘날의 기준에선 하나의 역사적 출발점이 되었는지 보여준다. 초창기에는 스케일링이 실제로 더 나은 결과로 이어질지 검증하는 단계였다.
3. 1:49
   오늘날의 최첨단 영상 지금의 영상 생성 모델은 사람과 장소가 모두 가짜인 콘텐츠도 매우 그럴듯하게 만들어낼 정도로 발전했다. Runway는 예술과 과학, 창작 커뮤니티와 대규모 연구를 결합해 영상 스케일링과 세계 모델을 동시에 밀어붙이고 있다.
4. 2:48
   다음 프레임 예측으로서의 영상 영상은 본질적으로 프레임을 빠르게 이어 붙여 움직임의 환상을 만드는 매체이며, Runway는 이를 다음 프레임 예측의 문제로 확장해 다룬다. 스케일 법칙이 언어 모델뿐 아니라 영상에도 적용된다는 전제 아래, 더 큰 연산 자원과 더 큰 모델이 새로운 지능적 성질을 드러낸다고 본다.
5. 4:04
   영상 모델이 배우는 것: 물리와 물체 지속성 다음 프레임 예측을 충분히 크게, 충분히 빠르게 수행하면 실제 같은 움직임이 생기고 사람도 진위를 구분하기 어려워진다. 이 과정에서 모델은 단순한 영상미를 넘어서 물리, 중력, 가림, 물체 지속성, 움직임 같은 현실 세계의 규칙을 함께 학습한다.
6. 5:54
   영상에서 시뮬레이션으로 같은 원리를 환경과 게임 같은 맥락에 적용하면, 명시적인 물리 법칙을 넣지 않아도 규모만으로 작동하는 시뮬레이션 시스템에 가까워진다. 결국 영상 생성은 단순한 미디어 생성이 아니라 복제된 세계 안에서 다시 시뮬레이션되는 메타 구조로 확장된다.
7. 6:54
   세계 모델을 실시간·상호작용형으로 만들기 기존 결과물이 비실시간이었다면, 다음 단계는 사용자의 입력에 즉시 반응하며 분기되는 상호작용형 세계 모델이다. 프레임을 계속 예측하는 도중에도 사용자가 개입해 세계의 결과를 바꾸는 구조가 가능해지며, 이는 다양한 응용에 매우 유용하다.
8. 7:59
   로보틱스와 세계 인터페이스 모델 Runway 내부의 로보틱스 연구는 이러한 모델을 자율 시스템과 임바디드 시스템의 두뇌로 쓰는 방향을 탐색한다. 더 나아가 화면의 모든 픽셀을 영상 모델로 다루면, 3D 재현 없이도 클릭과 조작에 반응하는 'world interface model'을 만들 수 있다.
9. 10:04
   앞으로의 외삽: Continuum Runway는 더 큰 스케일과 더 넓은 적용 범위를 갖는 실시간 세계 모델을 'Continuum'이라 부르며, 이를 운영체제 수준으로 밀어붙이고 있다. 웹 콘텐츠나 학습 자료를 선택하면 그 내용을 실시간 영상 포털로 바꿔 탐색할 수 있고, 저장된 포털은 일종의 시각적 기억처럼 재사용된다.
10. 13:45
    코딩 에이전트를 위한 시각적 사고 Continuum은 코딩 에이전트가 문제를 코드만으로 추론하는 대신 시각적으로 시뮬레이션하며 생각하게 만드는 도구로 확장된다. 에이전트와 사용자가 같은 시각적 공간을 보며 함께 조정할 수 있어, 텍스트만으로 지시할 때보다 훨씬 풍부한 유도가 가능해진다.
11. 15:05
    실시간 반응형 경험 마지막 단계는 정적인 상호작용을 넘어, 사용자의 의도를 읽고 그때그때 맞춤형 인터페이스를 생성하는 완전한 실시간 경험이다. 검색 의도에 따라 Mars outpost 같은 환경이 즉석에서 구성되고, 사용자는 그 안을 이동하며 실제 공간처럼 탐색할 수 있다.
12. 16:08
    모든 것은 시뮬레이션될 것이다 Runway는 앞으로 몇 년 안에 지금은 낯선 이러한 인터랙션이 자연스러운 기본 경험이 될 것이라고 본다. 특히 Continuum과 같은 기능은 아직 초기이지만, 앞으로 8 to 12 months 안에 많은 부분을 누구나 사용할 수 있게 배포할 계획이다.

실무 인사이트

• 영상 생성의 경쟁 축이 '더 예쁜 결과물'에서 '현실 규칙을 내재한 실시간 세계 모델'로 이동하고 있어, 제품 기획도 결과물 품질보다 상호작용성과 일관성을 기준으로 재설계할 필요가 있다.
• 텍스트만으로 에이전트를 제어하는 방식은 한계가 분명하므로, 복잡한 문제 해결에는 시각적 피드백 루프를 붙여 사용자가 같은 장면을 보며 수정하는 워크플로가 더 효과적이다.
• 웹, 문서, 학습 콘텐츠를 영상 포털로 바꾸는 발상은 검색과 탐색, 교육 UX를 바꿀 수 있어, 정적인 정보 제공 제품보다 상황별 반응형 인터페이스가 중요한 영역부터 검토할 만하다.