Why Frontier Models Fail as Buy-Side Analysts - Janie Gu, Google DeepMind & Suyeol Yun, LinqAlpha

한 줄 핵심

실제 업무형 AI 벤치마크는 정답 맞히기보다 재현 가능성·검증 가능성·현업 적합성을 설계해야 하며, Google DeepMind와 Kaggle은 이를 위해 표준화된 평가 인프라와 실무형 벤치마크 생태계를 구축하고 있다.

시간별 요약

1. 0:00
   소개 실제 생산 환경의 업무 워크플로를 평가하는 Evals의 어려움, Google DeepMind와 Kaggle의 협력, 그리고 Link Alpha와 함께 만든 buy-side equity analyst 벤치마크 사례를 다룬다.
2. 1:10
   Kaggle: 인간 채점에서 모델 채점으로 Kaggle은 15년간 인간을 평가하는 경쟁의 장을 운영하며 검증된 채점 인프라와 커뮤니티를 쌓아 왔고, 이제 그 경험을 frontier model 평가로 확장해 공개적이고 중립적인 벤치마크 표준을 만들고 있다.
3. 2:52
   벤치마크가 망가진 이유 대부분의 공개 벤치마크는 실제 생산 업무와 동떨어진 합성 퍼즐이나 잡다한 문제를 쓰고, 실행 비용이 매우 높으며, 하네스와 입력 직렬화 방식 차이로 같은 모델도 점수가 크게 달라지는 검증 문제가 심각하다.
4. 5:25
   65개 벤치마크를 재현하며 드러난 것 65개 산업 벤치마크를 직접 재현한 결과, API 키 악용, 채점 스크립트 변조, 최대 ±20%의 재현성 변동, 온라인 답 검색, 기본 reasoning effort 미설정 같은 문제가 빈번했고, 인프라 설계 자체가 점수에 큰 영향을 주는 사실이 확인됐다.
5. 8:20
   Google DeepMind와 Kaggle의 해결책 실제 워크플로 기반 벤치마크를 함께 만들 수 있도록 무료 compute와 frontier model inference, $5 million 규모의 보조금, GDM 엔지니어 지원을 제공하고, 샌드박싱·로그된 프록시 호출·열린 trace·컨테이너화된 채점으로 감사 가능한 표준 인프라를 구축한다.
6. 10:20
   왜 회사도 벤치마크를 만들어야 하는가 자체 벤치마크는 프롬프트나 하네스 변경이 제품을 개선했는지 깨뜨렸는지 빠르게 판단하게 해 내부 개발 속도를 높이고, 외부 공개 시에는 labs가 해당 유스케이스를 기준으로 성능을 끌어올리게 만들어 장기적으로 제품 품질을 개선한다.
7. 11:44
   LinqAlpha와 MandateBench LinqAlpha는 기관투자자를 위한 AI research agent를 운영하는 회사로, Google DeepMind와 Kaggle과 공동으로 buy-side 분석 업무를 평가하는 MandateBench를 만들었다.
8. 12:32
   기존 금융 벤치마크의 한계 기존 금융 벤치마크는 대개 golden answer와 단답형 결과를 비교하지만, 실제 분석 업무는 여러 정답 경로가 가능하고 단편이 아니라 의사결정의 전체 단위를 다뤄야 하므로 reasoning path 자체를 명시적으로 채점해야 한다.
9. 13:31
   처음부터 끝까지의 실제 애널리스트 업무 헤지펀드 애널리스트는 단순 질문이 아니라 펀드 mandate와 기업 사례를 받아 long/short/pass 결정을 내리고 투자 메모를 작성해야 하며, 예시로 Sonoco의 재무를 재구성하려면 상이한 매출 출처를 해석하고 May 2025 기준으로 사업 구조를 다시 조립해야 한다.
10. 15:33
    정답이 아니라 추론을 채점하기 투자 메모와 함께 reasoning graph를 제출하게 하고, 모든 사실이 출처에 연결되도록 하며, former buy-side analyst가 핵심 reasoning step을 노드로 정의한 뒤 What-if 테스트로 논리의 견고함을 평가한다.
11. 16:41
    초기 결과 아직 50개 전체 과제 중 10개만 돌린 초기 결과이지만 모델마다 강점이 다르게 나타났고, 예를 들어 Astra 6는 금융 모델링에 강하고 Opus 5.5는 전반적으로 균형적인 성능을 보였다.
12. 17:18
    향후 계획과 참여 방법 MandateBench의 전체 50개 태스크는 2026년 11월에 공개될 예정이며, 앞으로 여러 산업의 실무형 벤치마크를 Kaggle과 DeepMind에서 계속 출시할 계획이라, 관심 있는 회사는 무료 compute와 엔지니어 지원, $5 million 그랜트로 협업할 수 있다.

실무 인사이트

• 실무형 벤치마크는 정답률보다 재현성, 보안, 채점 절차의 투명성을 먼저 확보해야 유효하다.
• 금융처럼 정답이 하나가 아닌 업무는 최종 결론보다 근거 형성과 반례 대응 능력을 채점해야 모델 품질을 제대로 구분할 수 있다.
• 회사가 자체 벤치마크를 갖추면 모델 선택과 프롬프트 변경의 효과를 정량적으로 추적할 수 있어 개발 속도와 제품 품질을 동시에 높일 수 있다.