Backtest Your Agent Against Yesterday's Web — Ryan Ahern, Exa

한 줄 핵심

Exa의 웹 검색을 과거 시점으로 되돌려 백테스트하면, 에이전트·예측 시스템이 실제로 가치 있는 신호를 쓰는지 검증하고 과적합을 줄일 수 있다.

시간별 요약

1. 0:00
   에이전트에서 검색이 중요한 이유 에이전트는 인간보다 더 많이, 더 집요하게 웹을 검색하며 최신 정보를 바탕으로 답을 만든다. Exa는 Cursor 같은 코딩 에이전트와 금융·리서치 워크플로에 검색 도구를 제공해, 모델이 자기 지식 밖의 정보를 가져오도록 돕는다.
2. 4:15
   Exa의 검색 벤치마크 검색 품질·비용·지연시간을 동시에 잡기 위해 자체 재생산 가능한 벤치마크를 만들고, 필요한 토큰만 돌려주는 방식으로 입력 비용을 줄인다. 또한 sub-300 millisecond 수준의 빠른 검색부터 오래 걸리는 대규모 검색까지 폭넓게 지원한다.
3. 6:17
   웹 전체의 버전 관리 Exa Snapshot은 웹 페이지의 과거 버전을 저장해 두고, 특정 URL의 과거 내용이나 과거 시점의 검색 결과를 다시 볼 수 있게 한다. 웹 전체의 약 100 billion 문서와 trillions of URLs를 대상으로 시점별 검색이 가능해, 과거에 실제로 보였어야 했던 정보만 재현할 수 있다.
4. 10:34
   미래 정보 누출을 피하는 방법 실시간 검색은 최신 정보를 너무 잘 반영하기 때문에, 과거를 평가할 때 미래 정보가 섞이는 look-ahead bias가 생긴다. Snapshot으로 기준 시점을 잘라 두면, 인수·채용·리스크 판단 같은 예측 문제에서 당시 시점에 실제로 접근 가능했던 정보만으로 성능을 검증할 수 있다.
5. 14:43
   예측기를 백테스트하고 조정하기 기존 모델에 과거 데이터를 넣어 검증하는 방식과, 검색으로 생성한 비정형 정보를 구조화된 특징으로 바꿔 모델에 넣는 방식이 함께 설명된다. 특히 검색 규칙을 하나씩 바꾸며 true positive와 false positive를 비교하면, 비결정적 시스템에서도 어떤 신호가 실제로 성능을 올리는지 분리해낼 수 있다.
6. 18:49
   인수 예측 실습 참가자들은 회사 인수 직전에 맞히는 yes/no 특징을 직접 만들고, 1일·7일·30일 전 또는 랜덤 시점의 Snapshot으로 점수를 겨룬다. 예시로 CEO/CFO 교체, 판매 탐색 보도 같은 신호를 조합해 보며, OR와 AND 조건에 따라 오탐이 늘거나 줄어드는 과정을 즉석에서 확인한다.
7. 22:54
   결과와 과적합 상위 결과를 살펴보면 특정 회사명이나 공개 정보에 지나치게 맞춘 규칙이 높은 점수를 얻을 수 있지만, 이는 holdout set이 없으면 쉽게 과적합된다는 뜻이다. 과거 데이터로 반복 실험하고 holdout set으로 검증해야 실제 배포 가능한 예측 규칙인지 판단할 수 있다.

실무 인사이트

• 검색 기반 에이전트를 평가할 때는 최신 검색이 아니라 특정 시점의 검색 결과를 재현해, 당시 실제로 얻을 수 있었던 정보만으로 성능을 봐야 한다.
• 특징을 하나 더 넣는 것보다 false positive를 줄이는 조건 조합이 더 중요할 수 있으므로, 검색 신호는 단일 규칙보다 백테스트로 검증된 조합으로 설계하는 편이 낫다.
• 벤치마크와 holdout set 없이 점수만 올리면 과적합 위험이 커지므로, 실무에서는 공개 데이터셋과 별도의 비공개 검증셋을 반드시 분리해야 한다.