Gemini 4 Argon 시뮬레이션에서 배운 동작을 현실로 옮기는 법

sudoremove · 2026-11-05 12:35 · 35:42

로보틱스·피지컬 AI 모델·제품 출시 컨텍스트 엔지니어링

YouTube에서 보기

한 줄 핵심

Gemini 4 Argon은 별도 VLA 없이도 로봇 조작, Real-to-Sim, 시뮬레이션 데이터 생성까지 잘해 로보틱스에서 LLM의 역할을 크게 넓히고 있다.

시간별 요약

0:00
아르곤의 로봇 제어와 3D 제작 강점 아르곤은 로봇 조종과 Blender 기반 3D 장면·건축물 생성에서 특히 강한 프론티어 모델로 소개된다. 이 모델이 무엇을 잘하는지와 어떻게 활용해야 하는지가 핵심 화두다.
0:24
아르곤의 프론티어 모델 성능 비교 로봇 조작 기준으로는 아르곤이 최상급으로 평가되며, 3D 제작 계열도 전반적으로 빠르게 상향 평준화되고 있다. 벤치마크 결과는 프론티어 모델들이 어떤 분야를 실제로 밀어붙이고 있는지 보여주는 신호로 읽힌다.
1:45
LLM이 로봇을 직접 움직이는 방식 아르곤은 좌표와 그리퍼 동작 같은 텍스트 토큰을 직접 출력해 로봇팔을 제어하는 방식으로 강하게 작동한다. 별도 VLA 구조 없이도 시뮬레이터 기준으로 여러 난도 높은 과제를 다른 모델보다 더 많이 성공시킨다.
2:59
로봇 벤치마크와 아르곤의 가격·속도 로보커브의 비교에서는 성능, 속도, 가격 축에서 모델들이 각기 다른 장단점을 보인다. 아르곤은 특히 성능이 좋고 상대적으로 저렴한 편이지만, 속도는 아주 빠른 쪽은 아니다.
3:50
액션 토큰 방식이 다시 주목받는 이유 과거의 RT-1, RT-2, OpenVLA처럼 액션 토큰으로 로봇을 다루는 시도가 다시 유효해졌다. 아르곤은 엔드이펙터 좌표뿐 아니라 관절값까지 직접 출력하는 방식도 소화하며, 복잡한 액션 디코더 없이도 동작한다.
5:46
Blender 제작과 아르곤 사용 환경 아르곤의 강점 중 하나는 Blender MCP를 이용한 자율 루프로 3D 장면을 만드는 능력이다. 다만 실제 사용성은 Antigravity 같은 하네스의 완성도에 크게 좌우되며, 생태계 성숙도가 중요하다.
8:07
제로샷 실물 로봇 제어 데모 시뮬레이션이 아니라 실제 하드웨어에 좌표만 주고 바로 제어하는 제로샷 데모가 가능하다. 별도 사전 적응 없이 현실 로봇에서도 동작한다는 점이 인상적이다.
8:26
시각 좌표계로 로봇을 조종하는 방법 비주얼 좌표계를 오버레이해 입력에 포함하면 로봇이 위치 관계를 더 잘 이해하고 조작 성능이 올라간다. Spot처럼 이동과 조작이 섞인 과제도 제로샷으로 처리해낸다.
9:39
Real-to-Sim 자동화와 물성값 추정 Real 환경 영상을 시뮬레이션으로 옮겨 재현하는 Real2Sim은 로봇 연구의 핵심 병목 중 하나다. gain, damping, 마찰 계수 같은 물성값을 반복 추정하는 노가다를 자동화하면 연구 속도가 크게 빨라진다.
10:57
자기 개선으로 완성한 민속놀이 던지기 민속놀이 봉다리 던지기 데모에서는 Real2Sim 구축부터 던지는 전략 탐색까지 스스로 반복 개선한다. 사람이 허벅지를 친다고 피드백하자 동작을 수정해 7번 연속 성공하는 수준까지 올라간다.
12:59
휴머노이드 배치와 VLA의 일반화 한계 현재 VLA는 낯선 집이나 환경에서 바로 잘 작동하는 수준의 일반화가 부족하다. 반면 LLM 기반 에이전틱 로봇은 스스로 관절을 조정하며 더 많은 시도와 자기 개선을 수행할 수 있다.
15:10
시뮬레이션 데이터와 로봇 학습 활용 시뮬레이션에서 대량의 데이터셋을 만들어 VLA 학습에 활용하는 흐름이 가능하다. 다만 teleoperation 데이터를 완전히 대체할 수 있는지는 아직 불확실하지만, 반복과 실패 회고를 통해 성능을 끌어올릴 수 있다.
16:37
아르곤 로봇 역량의 학습 배경 아르곤의 로봇 성능에는 Google DeepMind Robotics의 프리트레이닝과 로봇 중심 데이터가 기여했을 가능성이 크다. 다만 어떤 비율이 프리트레이닝이고 어떤 비율이 RL인지, 그리고 성능을 해치지 않는 학습 순서가 무엇인지는 아직 분명하지 않다.
19:53
공간 이해 벤치마크와 성능 해석의 함정 BenchCAD 같은 공간 추론 벤치마크 점수가 높아도 실제 공간 이해 능력이 더 좋다고 단정하긴 어렵다. 벤치마크는 공개 이후 모델이 따라잡으며 계속 올라갈 수 있어, 점수만으로 실력을 해석하면 과대평가할 수 있다.
21:04
Astra 기반 에이전틱 로보틱스 연구 Astra를 활용한 에이전틱 로보틱스 연구가 빠르게 늘고 있으며, 시뮬레이터 안에서는 복잡한 조작도 꽤 잘 해낸다. 느리긴 하지만 처음 보는 물체를 추론하고 잡는 능력이 강점으로 드러난다.
23:34
처음 보는 환경에서 작동하는 LLM 로봇 최근 아르곤과 Astra 계열은 처음 보는 환경에서도 스펙만 주면 관절값을 조정해 작업을 수행한다. 이런 흐름은 물리적 지능도 반드시 엣지에서만 돌아가야 한다는 통념을 흔들고, cloud inference 가능성을 열어준다.
24:54
클라우드 추론으로 제어하는 AI 공장 공장 전체를 하나의 inference 서버가 통제하는 AI 네이티브 팩토리 구상이 가능해지고 있다. Dream-1 같은 World Action Model도 cloud inference API로 제공되며, 로봇 제어가 클라우드형으로 이동할 가능성을 보여준다.
25:58
World Action Model과 LLM 제어의 차이 World Action Model과 LLM 기반 제어는 같은 과제에서도 움직임 궤적이 다르다. 빠른 WAM과 추론형 LLM을 섞어 보정하거나 보완하는 하이브리드 구조가 유망한 방향으로 보인다.
27:06
엔드이펙터와 관절값 제어 방식 비교 엔드이펙터 4·6 자유도 제어, 관절값 직접 출력, action chunk 방식 모두 아르곤에서는 잘 동작한다. 다만 LLM 계열은 반응이 느려 섬세한 조작이나 빠른 반응이 필요한 작업에는 한계가 있다.
28:40
World Action Model의 일반화 한계 World Action Model은 제로샷 일반화를 내세우지만, 다른 embodiment나 다른 태스크로 가면 성능이 크게 흔들린다. 반대로 LLM 계열은 이미 폭넓은 사전 경험이 있어 더 안정적으로 잘하는 경향이 있다.
29:48
시뮬레이션의 물리 정확도와 현실 전이 Sim2Real은 여전히 어렵지만, 물리 엔진과 solver의 발전으로 점점 나아지고 있다. 다만 강체, 유체, deformable을 한 번에 잘 다루는 범용 solver는 부족하고, 현실에서는 초기화와 반복 실험이 또 다른 병목이다.
32:28
로보틱스에서 넓어지는 LLM의 역할 LLM은 로봇의 정책만이 아니라 학습 환경 구축과 Real2Sim까지 도와주며 로보틱스 전반으로 역할을 넓히고 있다. 로봇 도메인도 이제 LLM이 흡수하는 여러 분야 중 하나로 보인다.
33:06
VLA와 로봇 에이전트의 공존 전망 VLA와 World Action Model은 사라지기보다 LLM 에이전트가 사용하는 하위 도구로 편입될 가능성이 크다. 단순 집기 작업은 LLM이 맡고, 정교한 접촉 조작은 low-level policy가 맡는 식의 공존이 유력하다.
34:34
촉각 센서를 LLM 에이전트에 연결하는 법 촉각 센서처럼 이질적인 센서 신호도 매뉴얼과 few-shot 예시를 주면 LLM이 해석할 수 있다. 비전과 텍스트 외의 센서값도 표준화된 설명과 샘플을 통해 에이전트 입력으로 통합할 수 있다.
35:14
로보틱스 관점에서 본 구글 투자 이야기 구글은 단순한 검색 기업이 아니라 로보틱스와 물리 AI의 중요한 플레이어로 볼 수 있다. 로보틱스 역량이 커질수록 구글의 전략적 가치도 함께 커진다.

실무 인사이트

로보틱스에서 핵심 경쟁력은 모델 자체보다도 시뮬레이션 구축, Real2Sim, 데이터 생성까지 포함한 전체 파이프라인에 있다.
LLM은 더 이상 텍스트 생성 도구가 아니라, 로봇의 좌표·관절값·학습 환경까지 다루는 범용 제어 계층으로 확장되고 있다.
실무적으로는 VLA와 LLM 기반 로봇 에이전트를 대립 구도로 보기보다, 빠른 정책과 추론형 제어를 섞는 하이브리드 설계가 유력하다.