Gen 1.5와 Physical Prompting, In-context Learning

한 줄 핵심

Gen 1.5는 로봇이 사람의 시연을 컨텍스트로 받아 즉석에서 행동을 따라 하게 만드는 피지컬 프롬프팅이 실제로 작동함을 보여주며, 이를 통해 로보틱스에서도 GPT-3식 전환점이 올 수 있음을 주장한다.

시간별 요약

1. 0:00
   Gen 1.5와 GPT-3식 전환점의 등장 Gen 1.5는 로보틱스 파운데이션 모델에서 GPT-3와 비슷한 전환점으로 해석되며, 로봇도 이제 예시를 통해 작업을 수행하는 시대가 열렸다는 점이 핵심이다. 이 변화는 단순한 데모가 아니라 피지컬 프롬프팅이 실제 배포 가치가 있음을 보여주는 신호로 다뤄진다.
2. 2:03
   피지컬 프롬프팅의 의미와 배포 가치 말로 설명하기 어려운 작업은 영상 시연으로 보여주면 되고, 모델이 파라미터 업데이트 없이 바로 따라 하면 배포 관점에서 매우 강력하다. 현장 데이터를 따로 모아 재학습하는 대신 작업자가 하는 동작을 예시로 넣는 방식이 새로운 활용 경로가 된다.
3. 4:03
   도제식 학습으로 본 행동 프롬프트 서예를 글로 설명하기보다 손을 잡고 같이 써 보이며 배우는 도제식 학습이 행동 프롬프트의 직관을 잘 보여준다. 로봇에게도 행동 자체를 예시로 주는 것이 언어 지시보다 더 자연스러운 경우가 있다는 점이 강조된다.
4. 5:06
   즉흥 동작과 휴먼 데모의 초기 사례 빗자루 대신 바나나를 쥐여줘도 비슷한 역할을 수행하거나, 사람이 컵을 하나 정리하는 모습을 보고 나머지를 정리하는 식의 즉흥 대응이 가능하다는 예시가 나온다. 이는 로봇이 단순 복제가 아니라 맥락을 보고 작업 의도를 추론하는 방향으로 확장될 수 있음을 보여준다.
5. 6:04
   GPT-3의 Few-Shot Learning 전환점 과거에는 번역, 요약처럼 작업마다 별도 모델이나 헤드를 붙였지만, GPT-3는 작업을 입력으로 넣고 예시만 주면 수행하는 방식으로 고정관념을 바꿨다. 이 전환이 인스트럭션 팔로잉과 few-shot 학습의 충격을 만들었고, 이후 ChatGPT와 에이전트 흐름으로 이어졌다.
6. 8:33
   파라미터 업데이트 없는 인컨텍스트 러닝 인컨텍스트 러닝은 별도의 학습 없이 예시를 컨텍스트로 넣어 모델이 그 자리에서 패턴을 따라 하게 만드는 방식이다. 제로샷보다 원샷·퓨샷이 잘 작동했듯, Gen 1.5는 이 개념이 언어를 넘어 물리적 행동에도 적용될 수 있음을 시사한다.
7. 9:44
   인컨텍스트 러닝이 창발하는 이유에 대한 설명들 ICL은 의도적으로 넣은 기능이 아니라 훈련 규모가 커지며 갑자기 드러난 창발적 능력으로 설명된다. 반복적인 예시, 롱테일 데이터, 혹은 내부적으로 경사하강을 모사하는 구조 같은 가설이 있으나, 아직 완전히 설명되지는 않는다.
8. 12:11
   태스크 벡터와 학습 제약 실험 몇 개의 예시로 형성된 맥락이 하나의 태스크 벡터처럼 작동해 정답을 이끌어낸다는 해석이 제시된다. 반대로 특정 제약을 주면 ICL이 약해지거나 사라지므로, 데이터와 모델 조건이 창발에 중요한 역할을 한다는 점이 드러난다.
9. 14:11
   비전 분야 원샷 프롬프팅의 한계 비전은 언어처럼 작업 종류와 출력 공간이 풍부하지 않아, 원샷 프롬프팅의 자연스러운 적용이 상대적으로 어려웠다. 세그멘테이션, 엣지 디텍션, 스타일 트랜스퍼 같은 예시는 가능했지만, 많은 경우 결국 지도학습처럼 다뤄졌다.
10. 17:43
    비디오와 로봇에서 커진 피지컬 프롬프팅 가치 정적인 이미지보다 비디오와 로봇에서는 사람의 시연을 보여주고 그대로 따라하게 만드는 방식의 효용이 훨씬 커진다. 특히 로보틱스 파운데이션 모델에서는 작업별 재학습보다 한 번의 시연으로 바로 일반화되는 편이 확장성 측면에서 유리하다.
11. 18:40
    CLIP과 SAM으로 본 비전 프롬프트 사례 CLIP은 이미지와 텍스트를 같은 임베딩 공간에 맞춰 제로샷 분류를 가능하게 했고, SAM은 점 하나로 세그멘테이션을 유도하는 식의 비전 프롬프트 사례를 보여줬다. 다만 이는 ICL보다는 특정 입력을 잘 설계한 비전 프롬프트에 가깝다.
12. 20:25
    반복 데이터가 ICL 창발에 미치는 영향 컵 쌓기처럼 반복 동작이 많은 로봇 데이터는 언어 모델의 반복 패턴처럼 ICL 창발에 도움을 줬을 가능성이 크다. 반복적인 에피소드와 의미론적 패턴이 쌓이면 새로운 작업에서도 비슷한 구조를 끌어내기 쉬워진다.
13. 21:02
    Generalist 창업 배경과 로보틱스 목표 Generalist는 GDM 출신 인물들이 만든 회사로, 로봇 하드웨어 자체보다 다양한 테스크를 여러 embodiment에서 수행하게 만드는 것을 목표로 한다. 데모와 기술 방향에 비해 기업 가치가 상대적으로 낮게 평가된다는 문제의식도 함께 제기된다.
14. 23:27
    Andy Zheng의 언어 모델 연구와의 연결성 Andy Zheng은 로보틱스보다 언어 모델 쪽에 더 가까운 연구 이력을 보여 왔고, 이번 Gen 1.5에서 처음으로 그 연결성이 분명하게 드러난다. GPT-3와 자신의 과거 논문을 참조하는 점도 인컨텍스트 러닝 관점을 강하게 뒷받침한다.
15. 25:04
    Gen 1.5가 보여준 여섯 가지 능력 Gen 1.5는 원샷 러닝, 동작 결합, 시뮬레이션 일반화, 휴먼-투-로봇 모방, 소량 데이터 적응 등 여러 능력을 보여준다. 특히 3초에서 12초의 시연을 컨텍스트로 넣는 구조는 비디오 기반 컨텍스트 윈도우의 존재를 암시한다.
16. 28:12
    대시보드와 컨텍스트 에디터의 구조 힌트 시연을 드래그 앤 드랍하고, 프리즈 구간과 패딩 구간을 나누는 대시보드 형태는 내부적으로 컨텍스트를 편집하는 구조가 있음을 시사한다. 고정 길이의 입력 구간과 이후 출력 구간이 분리되어 있어, 단순한 액션 예측보다 프롬프트 주입형 설계에 가깝다.
17. 30:35
    컨텍스트 윈도우와 실시간 반응성 논의 기존 VLA가 짧은 히스토리만 보는 것과 달리, Gen 1.5는 컨텍스트를 실시간으로 주입하며 처리하는 느낌을 준다. 다만 긴 컨텍스트를 계속 쓰는 구조는 반응 속도와 지연 문제를 낳을 수 있어 엔지니어링 최적화가 중요하다.
18. 32:53
    Roda와 오토리그레시브 로봇 모델 비교 Roda도 사람 시연을 보고 로봇이 따라하는 인컨텍스트 러닝형 데모를 보여준 바 있어, 이 흐름은 오토리그레시브 모델의 자연스러운 응용으로 해석된다. 결국 로봇에서도 언어 모델처럼 순차 생성 구조를 쓰는 접근이 유력하다.
19. 34:17
    Harmonic Reasoning과 모듈형 아키텍처 가설 시스템이 감각 입력, reasoning, action을 분리해 지속적으로 처리하는 모듈형 구조일 가능성이 제기된다. 특히 KB cache와 페이지드 어텐션, 스크래치 트레이닝 언급은 하나의 거대한 통합 모델이라기보다 여러 모듈을 이어 붙인 아키텍처일 수 있음을 시사한다.
20. 38:06
    스크래치 트레이닝과 VLA 접근법의 선택 로봇 데이터가 충분히 크다면 바닥부터 학습하는 스크래치 트레이닝이 이상적일 수 있지만, 현실적으로는 데이터 수집 비용이 너무 크다. 그래서 이미 잘 되는 VLM이나 비디오 모델 위에 액션 디코더를 붙이는 방식이 더 현실적인 선택지로 비교된다.
21. 42:15
    Gen 1.5의 현재 성능과 확장 전망 Gen 1.5는 사람 동작을 보고 따라 하는 인컨텍스트 러닝을 실제로 보여주지만, 평균 성능은 아직 59% 수준으로 완성형과는 거리가 있다. 다만 데이터와 파라미터를 더 키우면 로보틱스에서도 언어 모델 수준의 스케일 효과가 날 수 있다는 기대가 제시된다.
22. 43:11
    Insta360 기반 데이터 수집 장치 추정 Insta360 장비와 QR코드가 붙은 데이터 수집 장치는 시야뿐 아니라 위치·자세 추정을 위한 촬영 장치일 가능성이 있다. 세부 구현은 불명확하지만, 현장 데이터의 품질과 메타정보 수집이 모델 성능에 중요하다는 점은 분명하다.

실무 인사이트

• 로봇 작업을 언어로 정리하기 어려울수록, 작업자 시연 영상을 표준화된 컨텍스트로 쌓는 편이 재학습보다 빠른 배포 경로가 될 수 있다.
• ICL을 노린다면 예시의 품질보다도 반복 패턴과 맥락 길이, 프리즈 구간 같은 입력 구조가 성능을 좌우할 가능성이 크다.
• 로보틱스 파운데이션 모델은 아직 데이터 스케일의 게임이므로, 초기에는 완전한 end-to-end보다 VLM/비디오 모델 + 액션 디코더 조합이 실용적일 수 있다.