The Autonomous Computer: Infrastructure for Computer Use Agents — Ang Li, Simular

한 줄 핵심

컴퓨터 사용 에이전트를 더 신뢰할 수 있게 만들기 위해, 시각 기반 에이전트와 코드 기반 자동화를 결합한 하네스·재생·검증 인프라를 설계해야 한다는 주장과 데모를 보여주는 영상이다.

시간별 요약

1. 0:00
   자율 컴퓨터를 향한 문제의식 컴퓨터와 30년을 함께해 온 경험을 바탕으로, 직접 조작하지 않아도 되는 완전 자율 컴퓨터를 만들고자 하는 목표를 제시한다. AI는 신경망과 코드가 결합된 신경-상징적 시스템이어야 한다는 관점이 영상 전체의 출발점이 된다.
2. 3:09
   컴퓨터 사용 에이전트가 하는 일 컴퓨터 사용 에이전트는 단순 API 호출이 아니라, 실제 Windows 데스크톱에서 마우스와 키보드로 앱을 조작하는 존재로 설명된다. 휴대폰으로 지시를 보내 LinkedIn에 사진을 올리게 하는 식의 실제 사용 방식이 예시로 나온다.
3. 5:03
   여러 에이전트와 눈에 보이는 작업 QA, 고객지원, 조사 등 서로 다른 역할의 여러 에이전트가 동시에 돌아가는 장면이 소개된다. 화면에서 에이전트가 실제로 무엇을 하는지 보인다는 점이 API 기반 에이전트와 가장 큰 차이로 강조된다.
4. 6:09
   초기 시각 접지의 한계 2년 전에는 GPT-4V로 화면을 이해해 iMessage 아이콘을 클릭하는 것조차 매우 어려웠다고 회고한다. 당시에는 반복적 보정으로 겨우 하나의 성공 데모만 만들 수 있었고, Zoom 같은 단순 작업도 잘 되지 않았다.
5. 7:21
   자율성과 컴퓨터의 두 축 자율 컴퓨터 문제는 환경을 이해하고 계획·복구까지 수행하는 자율성과, 실제로 어떤 컴퓨터를 사용할지의 문제로 나뉜다. 초기에는 컴퓨터보다 자율성이 더 어려운 문제라고 보고, 신경망과 코드의 결합을 핵심 전략으로 삼는다.
6. 9:26
   스크린샷과 접근성 신호 컴퓨터 에이전트는 자율주행차처럼 여러 신호를 함께 써야 하며, 여기서는 스크린샷과 accessibility tree가 핵심 신호로 제시된다. accessibility tree는 OS가 화면을 그릴 때 쓰는 구조로, 브라우저의 DOM처럼 버튼과 아이콘을 정밀하게 다룰 수 있게 해 준다.
7. 10:35
   Agent S 연구 흐름 첫 세대 Agent S는 accessibility tree를 활용한 모델 불가지론적 하네스로 시작했고, OSWorld에서 20% 성공률을 기록했다. 이후 시각만 쓰는 2세대와 여러 모델을 조합하는 구조로 진화하며, 작은 오픈소스 모델만으로도 더 큰 모델보다 나은 결과를 보이기도 했다.
8. 13:34
   병렬 시도와 벤치마크 진전 세 번째 세대에서는 여러 에이전트가 같은 과제를 병렬로 시도하는 inference time scaling을 적용해 성능을 끌어올렸다. 10개 에이전트를 쓰면 성공률이 더 잘 올라갔고, OSWorld에서 인간 성능을 넘어서는 순간도 있었지만 실제 세계는 여전히 더 어렵다고 정리한다.
9. 15:16
   FaceTime으로 컴퓨터를 조작하는 데모 FaceTime으로 원격에서 Mac을 조작해 VS Code의 CUDA out of memory 오류를 고치는 해커톤 데모가 소개된다. 이동하지 않고도 전화를 걸듯 컴퓨터를 호출해 작업을 시키는 방식이 실용적인 사용 사례로 제시된다.
10. 17:22
    반복 실행에서의 신뢰성 한 번 잘 되는 것보다 같은 워크플로를 매일 반복할 때 성공하는지, 즉 pass@k가 아니라 repeatability가 더 중요하다고 강조한다. 실제 고객들은 서버에서 워크플로를 계속 돌리고 싶어 하지만, 환경 변화나 작은 차이로 성능이 쉽게 떨어진다.
11. 19:41
    애매한 지시를 명확히 하기 명령을 받으면 에이전트가 먼저 clarification questions를 하게 만드는 간단한 프롬프트가 신뢰성을 높인다고 설명한다. 애매한 부분을 줄이고 검증을 넣으면 Claude나 Agent S 계열 모두 성능이 개선된다.
12. 22:12
    상징적 자동화 계층 시각 기반 에이전트만으로는 안정성을 담보하기 어려우므로, 결정론적으로 재생 가능한 코드 계층이 필요하다고 본다. 이를 위해 Simulan이라는 언어와 코딩 에이전트를 공개하고, RPA보다 더 표준화된 브라우저·컴퓨터 자동화 레이어를 지향한다.
13. 23:22
    코딩 에이전트 설정과 실시간 데모 Simulan을 npm one-line installer로 설치한 뒤 Claude Code 같은 코딩 에이전트에서 바로 사용할 수 있는 흐름을 보여준다. 자연어로 웹사이트 요약을 시키면 에이전트가 Simulan JS 코드를 작성해 작업을 진행한다.
14. 25:44
    워크플로 작성과 수정 컴퓨터 문제를 코드 문제로 축소하면 웹사이트를 열고 콘텐츠를 추출하는 스크립트를 먼저 쓰게 되고, 오류가 나면 코드를 다시 고치게 할 수 있다. auto approval을 켜면 일정 부분 자기개선형 워크플로가 된다.
15. 26:59
    접근성 스냅샷 읽기 요약 작업에서는 스크린샷보다 accessibility snapshot이 더 적합하다고 판단해 이를 활용하는 장면이 나온다. 실제로 AI Engineer Events의 정보를 잘 요약한 JavaScript 코드가 생성되고 실행된다.
16. 28:00
    안정성과 적응의 균형 코드 기반 자동화는 안정적이지만 환경 변화에 약하고, 시각 기반 에이전트는 적응적이지만 반복 신뢰성이 약하다는 점을 대조한다. 두 접근은 상호보완적이며, 안정성과 가소성의 균형을 찾는 것이 핵심 과제로 정리된다.
17. 31:07
    코드 재생과 변화 복구 한 번 성공한 작업은 코드로 저장해 다음부터는 코드 재생을 먼저 시도하고, 실패하거나 환경이 바뀌면 시각 에이전트가 복구 루프를 돌게 한다. 동시에 컴퓨터 사용 에이전트는 테스트 자동화에도 유용해, 사람이 하던 QA를 대신할 수 있다.
18. 32:46
    실험적 재생 모드 활성화 대시보드에서 neurosymbolic mode와 replay mode를 켜는 과정을 보여주며, 코드 재생이 가능한 상태로 전환하는 방법을 설명한다. 라이브 데모에서는 종종 hiccup가 생기지만, 기본 아이디어는 코드와 에이전트를 함께 쓰는 재생 구조다.
19. 35:12
    레거시 폼 자동화 사례 Microsoft Windows 365 for agents를 이용해 전통적인 ERP의 폼 입력을 자동화하는 사례를 소개한다. 보험, 의료처럼 오래된 윈도우 소프트웨어에 의존하는 산업은 API가 없어도 컴퓨터 사용 에이전트로 자동화할 수 있는 큰 시장으로 본다.
20. 37:03
    컨퍼런스 발표자 찾기 AIE 웹사이트에서 화요일 첫 발표자를 찾는 과제를 수행하며, 에이전트가 accessibility tree를 읽어 한 번에 정보를 모으는 모습을 보여준다. 스크린샷이 아니라 구조화된 트리에서 데이터를 읽는 점이 효율성과 재현성을 높인다.
21. 38:52
    워크플로를 스킬로 저장하기 한 번 실행한 코드를 skill로 저장하면 다음 세션에서 그대로 재사용할 수 있다고 설명한다. 특정 질의를 다른 날짜로 바꿔도 replay mode로 재실행되며, 파라미터만 달라지는 구조가 된다.
22. 39:37
    다른 날로 재생하기 기본값이 Tuesday인 코드를 Wednesday로 바꾸자 재생 모드가 활성화되고, 에이전트가 중간에 검증을 하며 성공적으로 결과를 찾아낸다. 처음에는 최대한 코드를 많이 만들고, 중간에 검증해 실패 시 멈추는 방식이 안정성을 높인다.
23. 42:10
    작업 재사용과 모델 호출 절감 같은 작업을 다시 할 때 모든 토큰을 매번 쓰지 않고, 코드가 절반 이상을 처리해 비용을 크게 줄일 수 있다고 본다. 그래서 $500 무제한 플랜 같은 가격 실험도 가능하며, 장기적으로는 토큰 소비를 거의 0에 가깝게 만드는 것이 목표다.
24. 43:34
    에이전트에 별도 컴퓨터가 필요한 이유 에이전트가 사용자의 주 컴퓨터를 점유하면 사람이 동시에 쓸 수 없기 때문에, 별도 머신이나 서버 호스팅이 필요하다는 피드백이 나왔다고 설명한다. 에이전트가 실제로 동작하기 시작하면 10대, 100대의 컴퓨터가 필요해지므로 클라우드 전환이 자연스럽다고 본다.
25. 45:09
    클라우드 데스크톱과 개발자 접근 Side와 Sidebox를 통해 클라우드 데스크톱을 제공하고, API와 CLI로 터미널에서 직접 제어할 수 있게 한다. 개발자는 웹 포털뿐 아니라 SAPI를 통해 자신의 제품에 원격 컴퓨터 제어 기능을 붙일 수 있다.
26. 47:03
    다중 플랫폼과 Android 데모 한 개의 에이전트가 Windows뿐 아니라 Mac OS, Linux, Android까지 오케스트레이션하는 미래를 그린다. Android 데모에서는 Angry Birds 조작, MFA 인증 토큰 획득, 소셜 미디어 작업 같은 모바일 전용 업무 가능성을 보여준다.
27. 50:35
    개발자 도구와 워크숍 정리 네 가지 제공 항목으로 Sidework 인터페이스, 오픈소스 Simulan, 클라우드 데스크톱용 Sidebox API, 그리고 초대 코드를 정리한다. 아직 버그가 있을 수 있지만 적극적으로 피드백을 받고 빠르게 개선하겠다는 메시지로 마무리한다.
28. 52:10
    화면 이해와 기억에 대한 질문 메모리는 아직 대부분 텍스트로 축약되며, 화면 인식용 별도 7B 오픈소스 모델을 따로 쓴다고 답한다. 범용 모델이 좋아져도 화면 이해는 여전히 약한 영역이며, 특정 도메인에 맞게 미세조정한 모델이 더 낫다고 본다.
29. 53:44
    상태와 여러 입력 양식 코드 생성형 접근은 stateless programming에 가깝고, neurosymbolic 방식은 매번 상태를 보고 판단하는 stateful programming이라고 정의한다. 스크린샷, accessibility, DOM 등 단일 신호로는 한계가 있으므로 여러 모달리티를 함께 쓰는 WIMO 접근이 필요하다고 본다.
30. 57:17
    정확도와 검증 루프 의료나 데이터 입력처럼 100% 정확도가 필요한 경우에는 생성보다 검증이 쉬우므로, 결과를 뒤집어 의미를 확인하는 방식이 효과적이라고 설명한다. accessibility tree와 코드 재생을 결합하면 텍스트 단위로 100% 매칭에 가까운 검증이 가능하다.
31. 1:00:30
    되돌릴 수 없는 작업과 OS 제한 에이전트가 계좌 이체나 중요 설정처럼 되돌릴 수 없는 행동을 하려 하면 guard rail이 막고 승인을 요구한다. 더 강한 제어를 위해서는 VM 이미지 수준에서 화이트리스트·블랙리스트를 두는 OS 레벨 제한이 필요하다.
32. 1:03:31
    레거시 워크플로와 절차 매우 긴 SOP나 레거시 프로그램은 처음에는 구체적인 프롬프트와 탐색으로 접근하지만, 한 번 성공한 경로를 찾으면 다음부터는 그대로 재사용할 수 있다. 탐색 비용이 낮은 환경에서는 여러 에이전트를 투입해 최적 경로를 찾는 방식이 특히 유리하다.
33. 1:08:09
    애플리케이션 변화에 적응하기 고정된 레거시 소프트웨어에는 코드 기반 경로가 잘 맞지만, 웹사이트처럼 자주 바뀌는 환경에서는 경로가 쉽게 깨진다. 이때는 여러 에이전트가 계속 탐색해 최신 경로를 다시 학습하는 방식이 더 실용적이라고 정리한다.
34. 1:10:22
    훈련 데이터와 코드 복잡도 충분한 데이터만으로는 화면 이해 문제를 근본적으로 풀기 어렵고, 현재 패러다임에서는 막대한 비용이 든다고 본다. 대신 최종적으로는 코드가 복잡해지고 if/while이 많아지더라도, 에이전트가 그 코드를 작성하고 유지할 수 있는 방향을 지향한다.

실무 인사이트

• 컴퓨터 사용 에이전트의 핵심은 단일 모델의 성능이 아니라, 시각적 적응성과 코드 재생 가능성을 함께 설계하는 하네스다.
• 실무에서는 ‘한 번 잘 되느냐’보다 ‘매일 같은 작업을 안정적으로 반복하느냐’가 중요하므로, 검증 루프와 재생 가능한 코드가 필수다.
• 레거시 시스템과 오래된 ERP처럼 API가 없는 환경이 오히려 컴퓨터 사용 에이전트의 가장 큰 초기 시장이 될 가능성이 높다.