로보틱스 데이터 모으기 [Figure AI, microagi, OpenGraph Labs]

한 줄 핵심

로보틱스 파운데이션 모델의 성패는 데이터가 얼마나 창의적이고 대규모로, 또 프리트레이닝과 인컨텍스트 러닝까지 연결되도록 모이느냐에 달려 있으며, 이를 위해 피지컬 AI 데이터 벤더와 참여형 수집 앱이 빠르게 진화하고 있다.

시간별 요약

1. 0:00
   로봇 AI 데이터 생산 방식의 문제 제기 로봇용 AI 모델은 청소부가 공짜 청소를 해주면서 데이터를 모아주는 식의 역설적인 방식까지 동원될 만큼 데이터 확보가 핵심 난제다.
2. 0:17
   로보틱스 파운데이션 모델의 데이터 부족 LLM과 달리 로보틱스 모델은 디지털 상의 대규모 공개 텍스트처럼 쉽게 긁어올 데이터가 부족해서, 결국 쓸모 있는 데이터를 직접 만들어야 한다.
3. 1:21
   피지컬 AI 데이터 벤더의 등장 피지컬 AI 영역에서도 데이터 사업성이 부각되면서, 카메라와 센서를 활용해 인간 작업 데이터를 수집하는 전문 벤더들이 빠르게 등장하고 있다.
4. 2:01
   OpenGraph Labs의 무료 노동 데이터 수집 OpenGraph Labs는 작업자에게 무료 노동을 제공하고 그 과정을 에고 카메라와 tactile 장갑으로 촬영해, 실제 작업 데이터를 확보하는 독특한 방식으로 운영된다.
5. 2:59
   Shift의 무료 청소 기반 데이터 모델 microagi의 Shift는 뉴욕에서 공짜 청소를 제공하는 대신 청소 과정을 촬영해 데이터를 얻는 구조이며, 데이터 판매가 청소 비용을 넘겨야만 지속 가능하다.
6. 4:09
   작업자 보상 구조와 데이터 승인 기준 작업자는 시간당 20불을 받지만 실제 승인률이 낮아 체감 수익이 크게 줄 수 있고, 양손이 카메라에 모두 보여야 하는 등 승인 기준이 매우 엄격하다.
7. 5:45
   대규모 시간 데이터 목표와 품질 심사 올해 목표는 20 million hours이며, 데이터는 손이 잘 보이는지·카메라가 깨끗한지·태스크가 의미 있는지의 세 축으로 자동 심사되어 대량 리젝이 발생한다.
8. 8:17
   Figure의 참여형 데이터 수집 앱 규모 Figure는 사용자 참여형 앱 Figure Index로 이미 44k WAU, 26만 다운로드, 1,600만 개 영상 수준까지 확장했고, 수집된 데이터를 로봇 행동 학습에 활용한다.
9. 10:49
   로봇 배치와 인간 시점 촬영의 선택지 이상적으로는 실제 로봇을 배치해 텔레오퍼레이션하는 방식이 가장 좋지만, 현실적으로 어렵기 때문에 그보다 쉬운 인간 시점 촬영과 작업 수집이 중간 단계로 쓰인다.
10. 11:31
    데이터 방식별 품질과 리타게팅 문제 텔레오퍼레이션 데이터가 가장 정밀하고, 그다음이 장갑 기반 캡처, 그다음이 단순 1인칭 촬영이며, 사람 손동작을 로봇 손으로 리타게팅하는 과정이 핵심 난점이다.
11. 14:11
    공개 1인칭 데이터셋과 확장 가능성 Lightwheel, EgoSuit-Open 100K, EgoDex 같은 공개 egocentric 데이터셋이 늘고 있어, 로보틱스 파운데이션 모델을 위한 스케일링 가능성 자체는 커지고 있다.
12. 15:15
    LLM 학습 토큰 규모와 로봇 데이터 추정 GPT-3의 300 billion tokens를 기준으로 보면 로봇 데이터도 수십 배 규모가 필요할 수 있지만, 실제로는 품질과 아키텍처 차이 때문에 필요한 양을 정확히 알 수 없다.
13. 16:50
    필요 데이터 배수에 대한 추정 논쟁 필요 데이터가 60배인지 1,000배인지에 대한 견해 차이는 크지만, 인컨텍스트 러닝이 발현되는 순간부터는 단순 파인튜닝 이상의 스케일링이 필요하다는 점에는 공감대가 있다.
14. 19:42
    GPT-3 학습량을 시간 데이터로 환산한 비유 GPT-3의 300 billion tokens를 사람의 읽기 시간으로 환산하면 21 million hours에 해당하므로, 비슷한 수준의 로봇 데이터가 있으면 의미 있는 피지컬 AI 모멘트가 올 수 있다는 상상을 할 수 있다.
15. 22:55
    로봇 데이터 수집 비용의 대략적 계산 30 million hours를 모으는 데 드는 비용은 대략 수억 달러 수준으로 계산되며, 데이터 품질과 배수에 따라 총비용은 조 단위까지도 쉽게 커질 수 있다.
16. 25:05
    프리트레이닝과 인컨텍스트 러닝의 중요성 로보틱스에서는 포스트 트레이닝만으로는 부족하고, 실제 배치에서 쓸모를 만들려면 프리트레이닝을 통해 인컨텍스트 러닝이 가능해져야 한다.
17. 27:10
    상용 배치 사례와 더 나은 프리트레이닝 Dyna의 딘타이펑 배치 사례처럼 실제 상용 환경에서 성능이 좋아지려면 better pre-training이 필요하며, 롤아웃 데이터를 다시 프리트레이닝에 돌리는 구조가 중요하다.
18. 28:55
    피지컬 AI 기업 투자 접근법 Figure AI, Dyna Robotics, Apptronik 등에 분산 투자한 상장사 Robot Strategy를 통해 피지컬 AI 테마에 간접 투자할 수 있다.
19. 30:05
    피지컬 AI 데이터 전략의 최종 정리 피지컬 AI의 핵심은 창의적인 데이터 수집과 프리트레이닝을 통해 GPT-3급 인컨텍스트 러닝을 여는 것이며, 이를 위해 데이터 벤더와 참여형 수집 모델이 계속 확장되고 있다.

실무 인사이트

• 로보틱스 데이터 전략은 단순 수집량 경쟁이 아니라, 실제로 로봇에 전이 가능한 형태로 데이터를 설계하고 승인률을 끌어올리는 운영 역량이 성패를 가른다.
• 실무적으로는 텔레오퍼레이션, 장갑 기반 캡처, 1인칭 촬영을 한 가지로 보지 말고, 품질과 확장성에 따라 계층적으로 조합하는 접근이 유효하다.
• 피지컬 AI는 모델만 보는 것보다 데이터 벤더, 수집 앱, 배치 사례, 재학습 루프까지 포함한 전체 파이프라인을 함께 봐야 투자와 제품 판단이 가능하다.