Why Off-the-Shelf AI Doesn't Understand Money — Udi Menkes, Intuit

한 줄 핵심

오프더셸프 LLM은 돈에 대한 그럴듯한 조언은 할 수 있지만 실제 결과를 학습하지 못해 위험한 답을 내기 쉬우며, 금융 AI는 비슷한 상황의 검증된 결과에 기반해 모델을 고정해야 신뢰할 수 있다.

시간별 요약

1. 0:12
   금융 조언에서 LLM의 답변은 그럴듯해 보여도 조금만 조건이 바뀌면 결론이 뒤집히기 쉬워 신뢰하기 어렵다. 특히 돈 문제에서는 답의 설득력보다 실제로 맞는지가 더 중요하다.
2. 3:02
   소규모 사업체 사례에서 범용 모델은 수익을 늘리기 위해 새로운 자산을 더 사라고 권하지만, 실제 결과에 기반한 모델은 가격 인상이나 비용 협상을 권해 손실을 줄이는 방향을 택한다. 수익성 압박이 큰 상황일수록 교과서적 조언은 오히려 위험하다.
3. 5:01
   이 문제를 발표자는 'fluent bluff'라고 부르며, 인터넷에 있는 돈 이야기들을 유창하게 재구성할 뿐 실제로 무엇이 효과 있었는지는 반영하지 못한다고 본다. 100,000개 상황 분석에서도 범용 모델 조언의 절반 이상이 고객 획득이나 매출 증대처럼 너무 단순한 방향으로 쏠렸다.
4. 7:00
   프린스턴 연구의 500일 시뮬레이션에서는 도구와 데이터를 준 상태에서도 대부분의 모델이 파산했고, 단순한 규칙 기반 시스템이 더 나은 성과를 냈다. 이는 '지식을 많이 읽은 모델'보다 '실제 결과를 본 시스템'이 장기 의사결정에서 더 강할 수 있음을 보여준다.
5. 13:01
   해결책은 더 큰 모델이 아니라, 비슷한 상황에서 어떤 행동이 어떤 결과를 냈는지 연결된 데이터로 경험을 주입하는 것이다. Intuit는 상태-행동-결과를 대규모로 만들고, 먼저 후보 행동을 생성한 뒤 RL과 검증된 결과로 걸러내는 방식으로 더 나은 금융 조언을 만든다.
6. 17:00
   핵심 교훈은 금융을 포함한 여러 도메인에서 승부는 모델 크기가 아니라 검증된 결과를 얼마나 잘 묶어 'outcome-driven AI'를 만들 수 있느냐에 달려 있다는 점이다. 따라서 조직은 먼저 자신이 가진 시스템 오브 레코드에서 상황과 결과를 추적할 수 있는 지점을 찾아 AI를 그 데이터에 접지시켜야 한다.

실무 인사이트

• 금융 AI를 만들 때는 답변 품질보다 '비슷한 상황에서 실제로 무엇이 효과가 있었는가'를 검증할 수 있는 데이터 구조를 먼저 설계해야 한다.
• 범용 LLM의 조언을 그대로 자동화하기보다, 후보안을 생성하는 역할과 검증된 결과로 필터링하는 역할을 분리하면 위험한 권고를 줄일 수 있다.
• 자사 데이터에서 상태-행동-결과를 연결해 두면, 모델 개선의 병목은 프롬프트가 아니라 경험 데이터의 품질과 커버리지라는 점을 빠르게 확인할 수 있다.