How Web Data Infrastructure Powers the Next Generation of AI — Patricija Žemaitytė, Oxylabs

한 줄 핵심

차세대 AI의 성패는 모델 자체보다 웹 데이터를 실시간으로 안정적으로 공급하는 인프라에 달려 있으며, 핵심 경쟁력은 스크래핑·전달·지연시간·확장성에 맞춘 끊임없는 적응이다.

시간별 요약

1. 0:01
   공개 웹 데이터는 이론적으로 누구나 접근 가능하지만, AI 모델·에이전트·데이터베이스가 실제로 쓰려면 수집·전달·운영을 담당하는 인프라 계층이 필요하다. 정적인 학습만으로는 부족하고, 최신 정보와 실시간 검색을 연결하는 구조가 중요해졌다.
2. 2:01
   영상 API 요청은 단순 다운로드가 아니라 수집, 전송, 저장, 제공까지 포함한 인프라 문제로 바뀌었고, 요구가 반복되면서 다운로드, transcripts, subtitles, 검색, metadata까지 한 제품군으로 확장됐다. 한 번의 기능 요청이 제품 전체로 진화하는 과정 자체가 빠른 적응의 사례다.
3. 6:01
   SERP 데이터는 SEO나 분석용을 넘어 AI의 retrieval과 grounding의 핵심 입력이 되었고, 그에 따라 4초 수준의 기존 검색 스크래퍼보다 sub-second SERP delivery가 중요해졌다. AI용 fast search API는 광고·위젯 같은 무거운 요소를 덜어내고 핵심 결과에 집중해 지연시간을 크게 줄이는 방향으로 재설계됐다.
4. 10:01
   650 milliseconds P90까지 도달했더라도 실제 운영 환경에서는 브라우저 의존성, 차단, 세션, 프록시, 파서 같은 변수로 인해 다시 설계를 해야 했다. 속도는 단순 최적화가 아니라 구조 재설계의 문제이며, 작은 지연 절감이 누적되어 550 milliseconds 평균 latency의 서비스로 이어졌다.
5. 12:00
   요청 규모는 10,000 requests per second에서 60,000 requests per second로, 이후에는 100,000 requests per second 수준까지 커졌고, 이 과정에서 관측성·테스트·실환경 트래픽 검증이 병목이 되었다. 대규모 웹 데이터 인프라는 한 번 만드는 제품이 아니라 요구 변화에 맞춰 계속 바뀌는 운영 체계다.

실무 인사이트

• AI 제품을 만들 때는 모델 성능보다 먼저 최신 데이터 소스, 수집 지연, 차단 대응, 전달 SLA를 인프라 요구사항으로 정의해야 한다.
• sub-second 응답이 필요한 AI 워크플로에서는 범용 스크래퍼보다 AI에 필요한 결과만 남긴 전용 파이프라인이 더 효과적이다.
• 대규모 데이터 수집 시스템은 성능보다도 생산 환경 트래픽을 반영한 테스트·관측성 체계를 갖추는 것이 실패를 줄이는 핵심이다.