Right Answer, Wrong Reasons: AI Forecasts Costco - Hassan El Mghari & Omar El Mghari, Together AI

한 줄 핵심

공개 재무자료만으로 Costco의 수익을 예측한 LLM 금융모델은 결과는 4.4% 수준으로 맞췄지만, 그 근거가 여러 잘못된 가정의 상쇄였다는 점에서 도메인 전문가의 검증이 필수임을 보여준다.

시간별 요약

1. 0:00
   소개 이 영상은 AI가 기업의 재무 예측을 실제로 수행할 수 있는지, 그리고 그 결과를 어떻게 검증해야 하는지를 다룬다. 발표는 부자 팀이 함께 진행하며, 실험과 검증을 통해 얻은 교훈을 공유한다.
2. 0:30
   AI가 Costco의 수익을 예측할 수 있을까? 공개된 Costco 공시 자료만 넣고, 향후 8개 분기의 이익을 예측하도록 open model을 시도했다. 핵심 질문은 LLM이 실제로 회사의 재무 성과를 예측할 수 있는지에 있다.
3. 0:49
   부자 팀 소개 Hassan은 Together AI에서 개발자 경험을 이끌며 오픈소스 AI 앱을 만들어 왔고, 이 실험도 직접 구현했다. Omar는 오랜 회계·감사·CFO 경험을 바탕으로 모델을 점검하는 인간 검증자 역할을 맡았다.
4. 2:21
   정답은 맞았지만 이유는 틀렸다 최종 예측 오차는 4.4%로 꽤 정확했지만, 그 결과는 올바른 추론이 아니라 서로 다른 오류가 우연히 상쇄된 것이었다. 이후 내용은 모델이 어떤 방식으로 재무 모델을 만들었고, 어디서 잘못되었는지를 설명한다.
5. 3:03
   Costco에서 멤버십 요금이 중요한 이유 Costco는 상품 판매보다 멤버십 수수료 비중이 매우 높아, 요금 변화가 매출과 이익에 큰 영향을 준다. 2024년 7월 요금 인상은 예측 실험에 이상적인 사건이었고, 그 시점을 기준으로 모델에 과거 정보만 제공해 미래를 예측하게 했다.
6. 4:12
   이미 답을 아는 모델은 제외하기 최근 모델들은 이미 Costco 요금 인상 사실을 학습해 정답을 알고 있었기 때문에, 사전 지식이 없는 더 오래된 모델을 골랐다. 예측 실험에서는 사건 이후 정보를 모르는 모델을 써야 편향 없는 평가가 가능하다.
7. 5:03
   214개 공시를 3,000개 사실로 변환하기 Costco의 분기·연간 공시와 판매 보고서 등 약 214개 문서를 수집해, 시간표시가 붙은 약 3,000개의 사실로 정리했다. 이 사실들을 컷오프 이전 정보로만 걸러낸 뒤 16개의 병렬 실행에 투입해 재무 모델을 만들었다.
8. 5:50
   계산은 하지 말고 공식을 쓰게 하기 모델은 숫자를 직접 계산하기보다 재무 공식과 구조화된 데이터를 작성하도록 설계됐다. 예를 들어 멤버십 수수료의 이연 인식처럼 공시 문구를 바탕으로 공식화하고, 동시에 표준/Executive 비중 같은 가정을 함께 만들었다.
9. 7:18
   검사와 16개의 병렬 실행 자기참조 금지, 수수료 인상 시 매출 증가 같은 기본 검사를 적용하고, 실패한 실행은 최대 두 번까지 오류를 되돌려 수정하게 했다. 하나의 프롬프트를 계속 다듬는 대신 여러 번 병렬로 돌려 통과한 결과만 선택하는 방식이 더 효율적이었다.
10. 8:41
    예측 결과 모델은 Costco의 요금 인상으로 2년간 이익이 5억6,000만 달러 증가할 것으로 예측했다. 실제 보고서와 비교했을 때 평균 오차는 4.4%였고, 16개 실행 중 통과한 결과들의 범위는 0.7~5.2%였다.
11. 9:53
    감사인이 가정을 검토하다 재무 모델을 감사할 때는 먼저 가정이 숫자와 근거로 잘 뒷받침되는지 본다. 여기서는 Executive 회원 비중 15% 같은 가정이 AI가 임의로 만든 값이었고, 공시에 이미 있던 45%를 제대로 읽어내지 못한 점이 문제였다.
12. 11:39
    서로 상쇄된 두 가지 오류 예측이 그럴듯하게 맞아 보인 이유는 상반된 두 오류가 우연히 상쇄되었기 때문이다. 실제로는 적용 대상 범위를 잘못 넓게 잡았고, 비율도 너무 낮게 잡아 결과가 얼핏 정확해 보였을 뿐이었다.
13. 13:29
    세 겹의 방어선 실무에서는 엔지니어링 수준의 관리 통제, 내부 감사, 외부 감사라는 세 겹의 검증이 필요하다. 특히 도메인 지식이 필요한 가정과 입력값은 코드만으로 충분히 잡기 어렵기 때문에 전문가의 판단이 중요하다.
14. 14:48
    전문가를 루프 안에 넣기 이 영상의 핵심은 어떤 AI 시스템이든 해당 분야 전문가가 가정, 입력, 출력, 교정 과정을 점검해야 한다는 점이다. 전문가의 검증을 코드로 일부 자동화할 수는 있지만, 최종적으로는 사람의 판단이 있어야 더 자율적이고 신뢰할 수 있는 시스템이 된다.

실무 인사이트

• 재무 예측이나 유사한 고위험 도메인에서는 모델의 정확도보다 가정의 출처와 타당성을 먼저 검증해야 한다.
• 사건 이후 정보를 모르는 모델과 공개 자료만으로 구성한 평가 파이프라인이 있어야 예측 성능을 공정하게 판단할 수 있다.
• LLM의 결과가 맞아도 근거가 틀릴 수 있으므로, 도메인 전문가가 검토하는 human-in-the-loop 절차를 기본 설계로 넣는 것이 안전하다.