AI에게 내 스마트폰을 맡겼습니다, 컴퓨터 유즈 말고 스마트폰 유즈 | THE FOUNDER EP.2

한 줄 핵심

컴퓨터 유즈를 활용하면 AI가 화면을 보고 클릭하고 입력하는 방식으로 PC와 스마트폰을 사람처럼 조작해, API 없이도 일상 업무와 콘텐츠 작업을 상당 부분 자율화할 수 있다.

시간별 요약

1. 0:00
   사람 없이 AI만으로 운영되는 회사 이 영상은 AI 에이전트가 이메일, 세금계산서, 매출 정리부터 스마트폰 기반 SNS 작업과 개발 업무까지 맡아 처리하는 실험을 소개하며 시작한다. 핵심은 사람 개입을 최소화한 자율 운영 회사를 실제로 만들 수 있는지 확인하는 데 있다.
2. 1:22
   사람처럼 보고 클릭하는 AI 컴퓨터 유즈는 사람이 화면을 보고 마우스와 키보드로 조작하듯 AI가 직접 화면을 인식하고 클릭하며 입력하는 방식이다. 웹사이트 접근, 업로드, 댓글 작성처럼 사람이 하는 대부분의 컴퓨터 작업을 그대로 수행할 수 있다.
3. 2:26
   AI 이전의 자동화: API 이전 자동화는 플랫폼이 제공하는 API를 통해 이뤄졌고, 허용 범위와 속도 제한이 플랫폼에 의해 통제됐다. 반면 컴퓨터 유즈는 사람처럼 동작하므로 플랫폼 제재를 피하면서 더 넓은 작업을 할 수 있다.
4. 4:34
   AI는 화면을 어떻게 보는가 컴퓨터 유즈는 보이스오버처럼 화면 요소의 위치와 상태를 읽어 행동을 선택하는 방식으로 동작한다. 시각장애인 접근성 기능을 활용해 버튼, 입력칸, 창 위치를 파악하고 다음 행동을 결정한다.
5. 6:08
   스크린샷 방식과 토큰 보이스오버나 위치 기반 접근이 막히면 스크린샷을 찍어 화면 전체를 분석한다. 다만 스크린샷은 픽셀 단위 정보를 많이 써서 토큰 소모가 크므로, 먼저 효율적인 방식으로 시도하고 실패할 때만 사용한다.
6. 7:20
   접근성 트리와 JSON 보이스오버가 읽는 구조화된 화면 정보는 접근성 트리이며, 이는 JSON 형태로 정리돼 있다. 버튼의 역할과 위치가 체계적으로 표현돼 있어 AI가 빠르게 읽고 행동을 고르기 쉽다.
7. 8:02
   웹 브라우저 기반 방식 컴퓨터 유즈는 크롬 같은 웹브라우저 안의 HTML과 DOM 정보를 읽어 더 빠르게 동작할 수 있다. 크롬 확장이나 브라우저형 에이전트를 통해 ChatGPT, Claude, Antigravity 등이 이를 활용한다.
8. 9:02
   어떤 AI로 사용할 수 있는가 컴퓨터 유즈는 ChatGPT Codex, Claude Code, Gemini, Antigravity 등 여러 주요 모델에서 사용할 수 있다. 기능 자체는 이미 널리 보급돼 있어 어떤 모델을 쓰든 큰 차이가 없는 수준으로 설명한다.
9. 9:21
   두 달 동안 AI 자율 회사 만들기 앞으로 두 달 동안 컴퓨터 유즈를 활용해 실제 프로젝트를 수행하며 자율화와 자동화를 실험한다. Gemini, Claude Code, GPT를 함께 써서 비교하고, 필요하면 로컬 AI도 활용할 수 있다고 정리한다.
10. 10:15
    스마트폰 유즈 아이디어 컴퓨터 유즈의 개념을 스마트폰으로 확장해, 미러링을 통해 아이폰이나 갤럭시를 컴퓨터에서 직접 조작하는 아이디어를 제시한다. 이를 통해 스마트폰 앱 작업도 AI가 사람처럼 처리할 수 있다는 가능성을 보여준다.
11. 10:58
    아이폰 미러링 연결 실습 아이폰 미러링을 통해 스마트폰 화면을 컴퓨터로 연결하고, 인스타그램 업로드 같은 작업을 직접 실행할 수 있음을 보여준다. 사진 선택, 릴스 작성, 오디오 설정까지 사람이 하던 흐름을 그대로 AI에 맡길 수 있다.
12. 11:59
    Claude · Antigravity · ChatGPT로 폰 조작 Claude, Antigravity, ChatGPT 각각에 같은 지시를 내려 아이폰 미러링 안에서 스레드 작성과 게시를 실행해 본다. 세 모델 모두 화면을 보고 클릭과 입력을 수행하며, 게시 완료까지 이어지는 과정을 실제로 처리한다.
13. 13:56
    세 AI 비교와 루틴화 세 모델 모두 가능하지만 체감상 ChatGPT가 가장 빠르고, Antigravity는 다소 느린 편으로 비교한다. 중요한 것은 실시간 대응보다 정해진 시간표에 따라 반복 작업을 루틴화해 던져주는 방식이다.
14. 14:38
    API 없이 사람처럼 쿠팡 장보기 API가 막혀 있는 플랫폼에서도 컴퓨터 유즈는 사람처럼 조작하므로 우회적으로 작업을 수행할 수 있다. 쿠팡에서 닭가슴살을 검색하고 비교해 장바구니에 담는 흐름을 통해, 구매 작업도 자동화할 수 있음을 보여준다.
15. 16:35
    가격 비교 리포트 페이지 여러 닭가슴살 상품의 가격을 비교하고 그 결과를 페이지로 정리하는 작업도 가능하다. 반복적으로 상품 정보를 모아 리포트 형태로 정리하면, 다음에는 비교 없이도 더 빠르게 구매 판단을 할 수 있다.
16. 17:47
    네이버 블로그 작성 네이버 블로그 작성도 아이폰 미러링과 컴퓨터 유즈로 자동화할 수 있으며, 제목과 카테고리 선택까지 AI가 처리한다. 입력이 어려운 부분은 별도 텍스트 생성 후 붙여넣는 방식으로 해결하며, 최종 등록까지 마무리한다.
17. 19:48
    마무리 컴퓨터 유즈와 스마트폰 유즈는 사람이 직접 하지 않아도 되는 작업을 AI가 사람처럼 대신 처리하게 만드는 핵심 기술이다. 이 원리를 이해하면 소프트웨어 작업과 콘텐츠 운영을 포함해 자율 운영 회사에 가까운 시스템을 설계할 수 있다.

실무 인사이트

• 반복 업무는 API 연동보다 컴퓨터 유즈+미러링 조합으로 먼저 자동화 가능성을 검증하면, 플랫폼 제약이 있어도 빠르게 실험할 수 있다.
• 실시간 조작보다 일정표 기반 루틴 자동화에 맞춰 설계하면, AI 에이전트의 속도 차이보다 안정성과 비용 효율을 더 잘 관리할 수 있다.
• 스마트폰 유즈는 SNS 업로드, 쇼핑, 블로그 작성처럼 앱 중심 업무를 직접 대체할 수 있어 개인 운영 자동화의 범위를 크게 넓힌다.