Tell the Robot What You Want — Sandhya Subramani, AWS

한 줄 핵심

Scout를 Raspberry Pi와 4G로 연결해 자연어만으로 움직이게 만드는 실제 데모를 통해, 로봇도 에이전트 계층을 얹으면 미리 훈련되지 않은 질문과 복잡한 행동을 수행할 수 있음을 보여준다.

시간별 요약

1. 0:00
   Raspberry Pi와 4G로 동작하는 Scout 소개 Scout는 단순히 미리 정해진 동작만 하는 로봇이 아니라, 자연어를 이해해 스스로 행동을 결정하는 작은 두뇌를 가진 로버로 소개된다. 헤드라이트를 켜고 인사하라는 식의 요청을 직접 이해하고 실행할 수 있는 모습이 출발점이 된다.
2. 1:27
   훈련되지 않은 질문에 답하기 Scout는 New York City의 Raspberry Pi에 SIM 카드로 연결된 4G 구조를 통해 원격으로 동작하며, 화면 속 장면을 보고 “몇 명이 보이냐” 같은 훈련받지 않은 질문에도 답한다. 이 장면은 기존 로봇 학습 방식이 아니라 에이전트 계층이 추가된 새로운 로봇 방식의 가능성을 보여준다.
3. 3:46
   로봇에 하드웨어 도구를 붙이기 LLM 또는 에이전트가 소프트웨어 도구뿐 아니라 로봇이라는 하드웨어 도구를 호출하도록 만들 수 있으며, 로봇이 가진 사전 정의된 기능과 정책을 에이전트가 오케스트레이션한다. 이렇게 하면 자연어로 새로운 작업을 지시하고, 에이전트가 어떤 정책을 언제 실행할지 판단하게 된다.
4. 5:02
   다섯 줄로 로봇을 에이전트에 넘기기 Strands agent harness를 사용하면 짧은 코드로 로봇 도구를 에이전트에 연결할 수 있고, 예시처럼 `pick up the red cube` 같은 지시를 바로 수행하게 만들 수 있다. Scout에는 thinker, communication, voice의 세 가지 에이전트가 함께 작동하며, Telegram과 웹앱을 통해 대화와 제어가 가능하다.
5. 6:09
   동시에 돌아가는 세 개의 에이전트 thinker 에이전트는 환경을 계속 관찰하며 다음 행동을 판단하고, communication 에이전트는 사용자의 자연어 지시를 받아 행동으로 옮긴다. voice 에이전트까지 더해져 하나의 로봇이 기존 정책보다 훨씬 넓은 범위의 상호작용과 작업을 처리할 수 있게 된다.
6. 7:17
   네 개의 계층과 관찰이 올라가는 방식 구조는 agent layer, policy layer, backend, physical hardware의 네 단계로 나뉘며, 명령은 위에서 내려가고 관찰은 아래에서 위로 올라가는 양방향 흐름을 가진다. 정책은 시뮬레이션 환경이나 실제 하드웨어에서 실행되고, 최종 결과는 로봇의 물리적 동작으로 나타난다.
7. 9:35
   클라우드와 엣지의 역할 분리 학습과 정책 업데이트는 cloud에서, 빠른 실행은 edge에서 처리하는 하이브리드 구조가 핵심이다. Strands가 언제 cloud의 모델을 부를지, 언제 edge에서 바로 실행할지를 결정해 대규모 학습과 실시간 반응을 동시에 노린다.
8. 10:45
   정책이 언어 모델처럼 커질 미래 지금의 로봇은 미리 정해진 작업을 수행하도록 프로그래밍되지만, 앞으로는 VLA 모델과 정책이 LLM처럼 커져서 훨씬 범용적인 행동을 하게 될 수 있다. 그 전까지는 기존 정책 위에 에이전트를 얹어 로봇이 학습 범위를 넘어 행동하도록 만드는 과정이 의미 있다.
9. 11:53
   복잡한 작업을 시켜 보기 ‘do something complex’ 같은 모호한 지시에도 로봇은 주변을 스캔하고 말하거나 회전하는 식의 복합 행동을 시도한다. 이 과정은 단순 시연을 넘어서, 사용자가 직접 로봇을 움직이며 훈련 데이터를 만들고, 그 반응과 추론을 기록해 더 나은 데이터셋을 구축하는 방식으로 이어진다.
10. 14:12
    실제 내부 구성 내부적으로는 Strands agents의 harness SDK가 Anthropic Claude Opus 4.8을 두뇌로 사용하고, system prompt와 규칙 설명이 어떤 도구를 호출할지 결정하는 기준이 된다. 음성은 OpenAI Realtime을 사용하며, 안전 장치와 가드레일도 함께 넣어 동작을 통제한다.
11. 15:21
    Telegram으로 거울 놀이하기 Scout는 Telegram에서도 작동해, 원격에서 ‘분석하고 누가 가장 잘생겼는지 말하라’ 같은 장난스러운 요청도 처리한다. 화면에 보이는 사람 수와 옷차림, 자세를 묘사하며 응답하고, 이는 로봇이 단순 제어를 넘어 개인 비서나 인터랙티브 동반자로 확장될 수 있음을 보여준다.

실무 인사이트

• 로봇 제어를 정책 중심에서 에이전트 중심으로 바꾸면, 미리 정의되지 않은 요청도 자연어로 흡수할 수 있다.
• 학습은 cloud, 실행은 edge로 분리하면 대규모 학습과 저지연 제어를 동시에 노릴 수 있다.
• 실제 사용 로그와 대화 기록을 수집해 훈련 데이터로 재활용하면, 로봇의 자율성과 품질을 함께 끌어올릴 수 있다.