Computer-use models will agentify the web, not APIs — Dhruv Batra, Yutori

한 줄 핵심

웹의 장기적 자동화는 API가 먼저 표준화되는 방식이 아니라, 사람이 보듯 화면을 읽고 클릭하는 computer-use 모델이 긴 꼬리(long tail) 웹을 그대로 다루는 방식으로 확산될 것이라는 주장이다.

시간별 요약

1. 0:12
   대부분의 웹은 자동화를 적대적으로 막고 있기 때문에, 모든 사이트가 API를 제공할 것이라는 기대는 비현실적이다. 특히 인기 서비스 일부만 API를 열고, 나머지 긴 꼬리 웹은 사람용 화면 구조를 유지한 채 남을 가능성이 크다.
2. 2:00
   맛집 메뉴의 gluten-free 항목 조회나 학교구청의 RFP 상태 확인처럼 단순해 보이는 질문도 실제 웹에서는 JSON 엔드포인트로 해결되지 않는 경우가 많다. PDF, 이미지, 스캔 문서, 접근 요청 절차까지 섞인 현실에서는 HTML이나 API를 전제로 한 접근이 쉽게 무너진다.
3. 9:01
   많은 웹페이지는 처음 로드되는 HTML 안에 정답이 들어 있지 않고, 나중에 비동기 호출로 JSON을 받아 화면을 그린다. 따라서 겉으로 보이는 텍스트를 읽는 것만으로는 부족하고, 실제로 보이는 픽셀과 렌더링 결과를 이해하는 방식이 필요하다.
4. 12:01
   웹은 본질적으로 인간의 눈을 위해 만들어졌으므로, 일반화가 잘 되는 해법은 화면 픽셀을 입력으로 받아 버튼 클릭과 스크롤을 수행하는 방식이다. 여기에 필요한 경우 JavaScript를 작성해 쓰고, 결과는 다시 화면에서 검증하는 구조가 가장 범용적이다.
5. 16:00
   computer-use 모델은 이미 벤치마크에서 높은 정확도를 보이고 있으며, 비용과 지연시간도 크게 낮아지고 있다. 앞으로는 여러 브라우저를 병렬로 돌리는 멀티 에이전트 형태로 확장되어, 사람이 직접 API를 쓰는 것처럼 보이는 결과를 더 싸고 빠르게 제공하게 된다.

실무 인사이트

• 긴 꼬리 웹을 다뤄야 한다면 API 유무를 먼저 보지 말고, 화면 기반 탐색과 문서 OCR, 비동기 렌더링 대응을 포함한 computer-use 파이프라인을 설계하는 것이 현실적이다.
• 실무에서는 단일 에이전트보다 여러 브라우저를 병렬 실행하고 결과를 구조화해 반환하는 방식이 비용 대비 효율이 좋다.
• 평가 기준은 단순 성공률보다 실제 화면 렌더링 기준의 정답률, 단계당 지연시간, 작업당 비용까지 함께 봐야 한다.