Computer-Use 2.0: Agents Just Got Multi-Cursor — Francesco Bonacci, Cua

한 줄 핵심

이 영상은 컴퓨터 사용 에이전트를 화면 점유형 1.0에서 배경 실행형 2.0으로 발전시키고, 이를 검증·학습·서빙까지 포함한 인프라와 평가 체계로 묶어야 실제 성능과 비용 효율을 얻을 수 있다고 주장한다.

시간별 요약

1. 0:01
   기존 computer use 1.0은 스크린샷을 보고 클릭·타이핑·스크롤을 반복하는 인간형 루프에 가깝고, 최근의 방향은 화면을 장악하지 않는 배경 실행형 에이전트로 이동하고 있다. Cua의 quad driver는 Mac OS뿐 아니라 Windows, Linux까지 아우르며 접근성 트리와 화면 정보를 이용해 에이전트가 운영체제에 직접 연결되도록 만든다.
2. 6:01
   에이전트가 손을 갖는 것만으로는 충분하지 않고, 그 손을 제대로 쓰는지 검증하는 벤치마크가 필요하다는 문제의식에서 kuabench가 나온다. setup, oracle, evaluator로 구성된 태스크 정의를 통해 데스크톱 전반에서 재현 가능한 GUI 작업을 만들고, 130개 이상의 검증 가능한 태스크와 42개 환경으로 확장했다.
3. 8:00
   KuaBench Kyad는 전기공학 작업처럼 실제 전문가용 소프트웨어와 회로 시뮬레이션 평가를 결합한 더 어려운 데이터셋을 제공하지만, 현재 최고 성능도 25개 중 6개만 완전 통과하는 수준이다. 특히 빈 스키매틱에서 시작하면 성공률이 0%까지 떨어지고, 여러 모델의 리더보드가 평평해 아직 일반화된 해결책이 부족함을 보여준다.
4. 9:04
   도구 선택과 평가 신뢰성이 성능을 크게 좌우하며, 기본 도구 대신 KU driver를 쓰면 4K 해상도 기준 통과율이 62%에서 80%로 오르고 토큰도 34% 절감된다. 동시에 평가 환경 자체가 악용되지 않도록 에이전트로 먼저 환경을 깨보는 절차를 두고, 기록된 실행을 중간 시점에서 fork해 세계 모델 예측까지 측정한다.
5. 11:01
   RL 학습에서는 샌드박스 시작 대기 때문에 GPU가 놀고 있는 시간이 비용 낭비의 핵심이며, 이를 줄이기 위해 GPU 수요에 맞춰 warm pool을 동적으로 키우는 구조가 제안된다. 이렇게 하면 샌드박스 초기화 비용을 인프라 쪽으로 이동시켜 GPU 활용률을 높이고, Windows·Linux·Android·Mac OS로 즉시 사용할 수 있는 실행 환경을 제공할 수 있다.

실무 인사이트

• 컴퓨터 사용 에이전트를 도입할 때는 모델 성능보다 먼저 배경 실행, 권한, 샌드박스, 재현 가능한 평가 환경을 설계해야 실제 운영 품질이 나온다.
• 벤치마크는 점수 산출만으로 끝나지 않고, 환경을 먼저 깨보는 레드팀 절차와 중간 상태 평가를 넣어야 과대평가를 줄일 수 있다.
• 학습 비용 최적화는 GPU 최적화만 보지 말고 샌드박스 warm pool과 작업 대기 시간을 함께 줄여야 효과가 크다.