Can AI Agents Beat Wall Street at Predicting Earnings? - Ashwin Paranjape, Samaya AI

한 줄 핵심

AI 에이전트는 금융 하네스와 실시간 데이터를 제대로 갖추면 애널리스트 컨센서스를 넘어서는 실적 예측을 일부에서 달성하지만, 최신 정보 접근과 강한 확신을 주는 설계가 성능을 좌우한다.

시간별 요약

1. 0:00
   소개 발표는 AI 에이전트가 컴파일러를 고치듯 주식도 고를 수 있는지, 더 나아가 금융의 어려운 예측 문제를 풀 수 있는지에 초점을 맞춘다.
2. 0:39
   Ashwin 소개 Stanford 박사 과정에서 GPT-2를 실제 사용자 환경에 배포한 경험부터 검색 스택, 금융 에이전트 하네스, 오픈소스 금융 벤치마크까지 이어진 경력을 바탕으로, 지금의 관심사가 평가와 하네스 설계에 있음을 보여준다.
3. 1:52
   금융의 큰 미해결 문제 금융에서 가장 큰 질문은 현재보다 더 나은 방식으로 미래를 예측할 수 있는지이며, 그 자체가 가장 높은 수준의 도전 과제로 제시된다.
4. 2:19
   왜 주가 예측이 아닌가 주가 예측은 너무 노이즈가 크고 모델의 추론이 맞는지 설명하기 어려워서, 단순한 주가 방향 예측보다 원인과 정답이 더 분명한 실적 예측이 더 적절한 과제로 선택된다.
5. 3:18
   실적 예측이라는 과제 분기 실적 발표에서 매출, 마진, EPS, 가이던스가 공개되고 애널리스트 컨센서스와 비교해 beat 또는 miss를 판정할 수 있어, 정량적 정답과 왜 맞았는지에 대한 정성적 근거를 함께 평가할 수 있는 좋은 과제가 된다.
6. 4:32
   시점 고정 환경 에이전트 평가는 미래 정보를 차단한 point-in-time 환경에서 이루어져야 하며, 문서·가격·컨센서스·뉴스를 시점별로 제한하는 하네스와 인증 토큰 기반의 게이트가 핵심이다.
7. 6:31
   결과: AI와 컨센서스 비교 450개가 넘는 실적 이벤트를 기준으로 여러 frontier model을 비교한 결과, 최신 모델일수록 예측 오차와 hit rate가 개선되며 bias-corrected consensus보다 나은 성능을 보이기 시작했다.
8. 9:30
   에이전트가 강한 지점 에이전트는 다양한 증거를 수집하고 컨센서스에서 벗어나 조정할 때 강하며, 공급망·재고·데이터센터 수요 같은 시의성 높은 정보를 찾아내 실적 추정치를 실제에 가깝게 끌어올린다.
9. 10:35
   에이전트가 놓치는 지점 증거를 발견해도 그것을 강하게 반영하지 못하면 컨센서스 근처에 머무르며 miss가 발생하고, 특히 큰 서프라이즈일수록 모델이 더 잘 맞히는 경향도 함께 관찰된다.
10. 11:46
    실시간 데이터가 가장 중요한 이유 모델 자체의 파라메트릭 지식만으로는 부족하고, 오래된 데이터보다 최신 데이터에 접근할수록 성능이 크게 좋아지므로 금융 예측에서는 실시간성 자체가 핵심 변수다.
11. 13:09
    전문가 가이드와 컨센서스 가리기 전문가 가이드를 주면 더 많은 리서치가 일어나고 예측 오차가 줄어들며, 컨센서스를 숨겨도 최신 모델은 이를 스스로 재구성할 수 있어 과거 모델보다 컨센서스 의존도가 낮아진다.
12. 14:11
    다음 단계 현재 성과는 제품의 알파 테스트로 이어지고 있으며, 고객 내부 데이터의 활용 가능성, 모델 추론 방식의 이해, 그리고 실수에서 학습하는 지속 학습이 다음 연구 주제로 제시된다.

실무 인사이트

• 금융 AI 성능은 모델 크기만이 아니라 시점 고정 하네스, 최신 데이터 접근, 컨센서스 노출 여부 같은 평가 조건 설계에 크게 좌우된다.
• 실적 예측처럼 정답과 설명이 모두 있는 과제는 에이전트의 추론 품질을 검증하기에 주가 예측보다 훨씬 실용적이다.
• 실무적으로는 컨센서스를 단순 입력값으로 넣는 것보다, 에이전트가 독립적으로 증거를 수집한 뒤 필요할 때만 기준선으로 삼도록 설계하는 편이 더 강한 성능을 낼 가능성이 크다.