170여년의 사람의 데이터를 World Action Model로 녹여낸 Dyna-2

한 줄 핵심

Dyna-2는 170년 분량의 사람 데이터를 World Action Model로 학습해 로봇으로 전이되는 스케일링 법칙을 보여주며, 로봇 데이터만이 아니라 사람 데이터 코트레이닝이 실제 배포 성능까지 끌어올릴 수 있음을 설득력 있게 제시한다.

시간별 요약

1. 0:00
   DYNA-2 월드 액션 모델 공개 Dyna-2는 100만 휴먼 아워, 즉 170년치 사람 행동 데이터를 바탕으로 World Action Model을 만들고, 데이터를 어떻게 모아야 로봇 성능이 확장되는지 보여주는 철학 중심의 기술 블로그다. 단순 데모가 아니라 제너럴리스트한 로봇 파운데이션 모델을 만들기 위한 데이터 수집·학습 방향을 제시하며, 기존의 빨래 접기 중심 Dyna-1보다 연구회사에 가까운 방향으로 진화했다.
2. 2:35
   로보틱스에서 스케일링 법칙이 중요한 이유 로보틱스에서도 데이터가 많아지는 것만큼이나, 어떤 방식으로 모았을 때 성능이 얼마나 선형적으로 좋아지는지가 중요하다. 스케일링 법칙이 있어야 학습 데이터와 컴퓨트에 투자할 근거가 생기고, 그 예측 가능성이 있어야 모델 개발과 데이터 구매 의사결정이 가능해진다.
3. 4:45
   Generalist와 EgoScale의 스케일링 법칙 Generalist는 모델 크기와 데이터 크기를 키웠을 때 validation loss가 리니어하게 개선되는 경향을 보여주며, 데이터 확장이 성능 향상으로 이어진다는 근거를 제시했다. EgoScale은 휴먼 텔레오퍼레이션 데이터에서 같은 패턴을 보여주고, 프리트레이닝 단계의 손실이 이후 파인튜닝 성능과 연결된다는 점을 강조한다.
4. 11:32
   DYNA Robotics는 어떤 회사인가 DYNA Robotics는 2024년 9월에 설립된 회사로, 제이슨 마를 중심으로 리워드 모델링과 로보틱스 연구를 해오다 Dyna-1과 Dyna-2로 이어졌다. 초기부터 실제 배포를 염두에 둔 연구와 라이브 데모를 강하게 밀어붙였고, 이미 고객 사이트에 들어간 빨래 접기 로봇으로 존재감을 보여줬다.
5. 16:55
   Dyna-2 아키텍처와 Mixture of Transformer Dyna-2는 언어 지시를 받아 비디오를 생성하는 비디오 백본과, 그 결과를 액션으로 바꾸는 액션 백본으로 구성된 구조다. 서로 다른 모달리티를 각기 다른 Transformer로 처리하고 어텐션으로 연결하는 Mixture of Transformer 방식이며, Fast-WAM 계열과 매우 유사한 계보에 놓인다.
6. 21:30
   Dyna-1과의 비교, Qwen3-VL Dyna-1은 Qwen3-VL 4B를 기반으로 한 VLA 계열 모델이었고, Dyna-2는 이를 비디오 기반 World Action Model로 확장해 비교하려는 흐름이다. 이 비교를 통해 VLM 기반 VLA와 비디오 백본 기반 WAM이 각각 어떤 역할을 하는지 드러나며, 알리바바 계열 백본이 여러 로보틱스 모델에서 반복적으로 쓰이고 있음을 보여준다.
7. 23:34
   VLA와 World Action Model의 차이 VLA는 비전-언어 입력을 바로 액션으로 바꾸는 구조이고, WAM은 비디오 모델을 백본으로 써서 미래 상황을 상상한 뒤 액션을 만든다. WAM은 느릴 것이라는 우려가 있었지만, 최근에는 충분히 빨라졌고 복잡한 작업을 하나의 웨이트로 처리하려는 방향에서는 오히려 더 적합할 수 있다.
8. 30:43
   DreamZero부터 Fast-WAM까지의 계보 DreamZero가 처음으로 World Action Model이라는 용어를 제안한 뒤, 비디오를 완전히 생성한 다음 액션을 추론하는 구조에서 점차 효율화가 진행됐다. 이후에는 비디오를 끝까지 다 만들지 않거나 중간 feature만 쓰는 방향으로 발전했고, Fast-WAM은 이런 경량화 흐름의 대표 사례로 소개된다.
9. 33:59
   100만 시간 휴먼 데이터 스케일링 법칙 Dyna-2는 사람 데이터 1K, 10K, 100K, 1M 시간으로 스케일링 법칙을 먼저 검증하고, 그다음 로봇에 제로샷으로 전이되는지 확인한다. 먼저 휴먼 비디오에서 validation loss를 낮추는지 보고, 그 패턴이 로봇 평가와 실제 파인튜닝 성능으로 이어지는지 단계적으로 증명한다.
10. 34:57
    사람 손을 6DOF 그리퍼로 좌표화하기 휴먼 데이터를 로봇에 맞추기 위해 1인칭 영상에서 손목 좌표와 엄지·검지의 접힘 상태를 추출해 6DOF 그리퍼처럼 좌표화한다. 카메라 흔들림과 중력 방향까지 보정해야 해서 단순한 비디오 분석이 아니라 꽤 많은 엔지니어링이 들어가며, 이렇게 만든 메트릭으로 휴먼 데이터 스케일링을 평가한다.
11. 40:48
    로봇 데이터 제로샷 평가와 파인튜닝 검증 휴먼 프리트레이닝만으로도 로봇 데이터셋에서 제로샷 평가를 수행해 전이 가능성을 본 뒤, 실제로 로봇 파인튜닝까지 했을 때 성능이 오르는지 확인한다. 아울러 Dyna가 자체 태스크뿐 아니라 XDOF 같은 외부 데이터셋에서도 경향이 이어지는지 보여주며, 특정 스케일을 넘어야 갑자기 열리는 태스크도 있음을 시사한다.
12. 46:02
    액션 온리, 조인트, 비디오 코트레이닝 비교 로봇 데이터만 액션으로 학습하는 방식보다, 비디오까지 함께 예측하게 하거나 사람 데이터까지 코트레이닝하는 방식이 더 좋다. 특히 비디오 코트레이닝이 가장 좋은 결과를 내며, 사람 데이터가 로봇 전이를 돕는 브릿지 역할을 한다는 점이 중요한 결론으로 정리된다.
13. 52:35
    VLA와 WAM, 실제 고객 사이트 배포 성능 사내 실험과 실제 고객 사이트 배포에서는 WAM이 Dyna-1의 VLA보다 품질, 처리량, 신뢰성 측면에서 더 좋았다고 보고된다. 다만 모든 비교가 완전히 공정한 것은 아니므로, WAM이 무조건 우위라고 단정하기보다 실제 배포 맥락에서 더 잘 맞았다고 보는 편이 적절하다.
14. 56:48
    원스텝 디스틸레이션과 추론 지연 시간 Diffusion의 여러 디노이징 단계를 한 번에 줄이는 원스텝 디스틸레이션으로 비디오 생성을 훨씬 빠르게 만들 수 있고, 실제로 DreamZero와 Fast-WAM은 매우 낮은 지연 시간을 보여준다. 하드웨어 최적화, Quantize, CUDA 그래프, 스케줄 최적화 같은 엔지니어링이 성능만큼이나 중요하며, WAM도 점점 로컬 GPU에서 돌릴 수 있을 정도로 빨라지고 있다.
15. 1:01:21
    결론, 휴먼 데이터 진영과 남은 과제 결론은 휴먼 데이터를 크게 모아 스케일링하고, 로봇 데이터에는 액션만이 아니라 비디오까지 함께 쓰며, 가능하면 사람 데이터 코트레이닝까지 해야 로봇 파운데이션 모델이 더 잘 커진다는 것이다. 다만 손목 수준의 전이와 실제 그리퍼 그립, 더 많은 손가락 관절, 더 복잡한 폼팩터는 아직 남아 있는 과제로, 이 방향의 후속 연구가 더 필요하다.

실무 인사이트

• 로봇 파운데이션 모델에서는 데이터 양보다도 '어떤 데이터가 스케일링되는가'를 먼저 증명해야 투자와 개발이 가능하다.
• 휴먼 데이터는 로봇 데이터보다 수집 규모를 키우기 쉽기 때문에, 이를 로봇 전이 가능한 표현으로 정규화하는 방법이 핵심 경쟁력이 된다.
• 실제 배포 성능은 단순 태스크 성공률보다 품질, 처리량, 신뢰성까지 포함하므로, 연구 단계에서도 최종 운영 지표를 함께 설계해야 한다.