The Dark Arts of Web Automation: Teaching Agents to Use Websites Like Humans — Corey Gallon, Rexmore

한 줄 핵심

웹 자동화 에이전트를 사람처럼 보이게 하려면 MCP보다 CLI로 프로그램화하고, CDP로 브라우저를 직접 구동하며, 페이지가 거부할 때만 더 인간적인 입력 방식으로 단계적으로 올라가는 루프 설계가 핵심이다.

시간별 요약

1. 0:13
   이 영상은 웹페이지가 봇 입력을 거부하는 상황에서 AI 에이전트가 사람처럼 브라우저를 쓰게 만드는 방법을 다룬다. 핵심 전제는 Chrome DevTools Protocol(CDP)로 넣는 클릭과 키 입력이 Chrome 안에서는 사람 입력과 같은 경로를 탄다는 점이다.
2. 3:02
   에이전트 제어 방식은 MCP 서버보다 CLI가 더 적합하며, 같은 과제라도 재사용성, 속도, 비용에서 유리하다. CLI는 한 번 만든 절차를 반복 실행할 수 있고, 모델 호출을 매 단계마다 넣지 않아 round trip과 토큰 비용을 크게 줄인다.
3. 5:00
   브라우저를 사람처럼 다루기 위해서는 시각, 구조, 네트워크, 로그 같은 디지털 감각과 클릭·키보드·탐색 같은 조작 수단이 필요하다. 이를 바탕으로 sense → act → verify 루프를 돌리며, 한 번의 행동 뒤에는 반드시 다른 채널로 성공 여부를 확인해야 한다.
4. 6:01
   페이지가 버티면 'meat bag ladder'를 올라가며, 가장 싼 방법부터 인간적인 방법으로 이동한다. 1단계는 페이지 내부 API나 synthetic JavaScript click, 2단계는 CDP input domain의 trusted input, 3단계는 실제 마우스 경로, dwell, jitter, vision까지 포함한 인간형 행동이다.
5. 9:00
   Outlook 대량 메일 발송은 한 번 캡처한 절차를 코드로 재사용하는 사례이고, DOM 기반의 평범한 UI는 자동화가 매우 쉽다. 반대로 Cloudflare Turnstile, MTCaptcha, Lemon, reCAPTCHA v2 같은 방어는 iframe, shadow root, 신뢰된 입력, 시각 판독, 인간형 드래그를 요구하므로 코드와 에이전트를 분리한 하이브리드 루프가 필요하다.

실무 인사이트

• 웹 자동화의 실전 해법은 모델을 매번 호출하는 것이 아니라, 결정적 코드를 바깥에 두고 모델은 필요한 순간에만 투입하는 구조다.
• 자동화가 막히면 먼저 '사람처럼 더 잘하기'보다 '더 낮은 비용의 계층에서 풀 수 있는지'를 확인하는 것이 효율적이다.
• 재현 가능한 웹 자동화는 탐색 단계에서 사람 손으로 루프를 완성한 뒤, 그 경로를 코드와 스킬로 고정하는 방식이 가장 안정적이다.