From RL to IRL — Gaurav Mishra, Amazon AGI Lab

한 줄 핵심

강화학습으로 잘 동작하던 에이전트도 실제 컴퓨터 사용 환경에서는 부분 관측, 비가역 행동, 모호한 성공, 권한 만료 같은 문제로 쉽게 실패하므로, 현실을 흉내 낸 시뮬레이션·회복 전략·하네스 설계를 함께 해야 한다.

시간별 요약

1. 0:01
   이 영상은 RL로 훈련된 에이전트를 실제 업무 환경에 배포할 때 무엇이 깨지는지 설명한다. 코딩 에이전트가 왜 유망한지, 그리고 RL이 어떤 조건에서 SFT보다 강한지도 함께 정리한다.
2. 2:00
   RL은 검증 가능한 결과가 있고, 여러 정답 경로가 존재하며, 추론 중심인 과제에서 특히 효과적이다. 그 전제 위에서 task, environment, verifier가 핵심이며, 코드 샌드박스와 자동 검증기가 학습 신호를 만든다.
3. 4:00
   웹 브라우저와 실제 화면에서는 광고 버튼 오클릭, 로그인 만료, 잘못된 입력처럼 사소한 혼선이 바로 사고로 이어진다. 실세계에서는 한 번의 클릭이 되돌릴 수 없는 결과를 낳고, 성공 여부도 단순한 완료와 다르다.
4. 8:02
   컴퓨터 사용 에이전트에는 시험이 아니라 비행 학교가 필요하므로, 훈련 단계부터 현실의 혼잡함을 시뮬레이션해야 한다. 고충실도 디지털 샌드박스, 복구 행동, 과정 보상 모델, 보정된 자신감, 적대적 과제가 함께 들어가야 한다.
5. 11:02
   모델은 코드 작성 능력만으로는 부족하고, 화면을 사람이 읽듯이 배치·의미·변화를 이해해야 한다. 이를 받치는 하네스는 checkpointing, risk classifier, credential guardrails, execution monitor, audit logs, human handoff로 안전한 실행을 보장한다.
6. 15:00
   데모와 제품의 차이는 첫 실패 이후에 드러나며, 실제 배포를 통해서만 실패 모드를 수집하고 학습 루프를 닫을 수 있다. 초반에는 하네스가 강하게 실패를 막고, 시간이 지날수록 모델이 좋아지며 하네스는 더 얇아진다.

실무 인사이트

• 실무에서는 정답률보다 실패 후 복구 능력과 안전한 중단이 더 중요하므로, 에이전트 평가에 재시도·되돌리기·사용자 이관 지표를 반드시 넣어야 한다.
• 훈련 데이터보다 중요한 것은 실제 UI 변형과 권한 만료, 광고성 요소 같은 엣지 케이스를 얼마나 잘 주입하느냐이므로, 샌드박스와 시뮬레이터 품질에 투자해야 한다.
• 자동화 범위를 넓히려면 모델 성능만 올리는 방식보다, 위험 감지와 인간 핸드오프를 포함한 하네스 설계를 먼저 안정화하는 편이 효과적이다.