A Bank Trained Its Own Foundation Model to Catch Fraud — Freddy Lecue, Wells Fargo

한 줄 핵심

Wells Fargo는 거래 데이터를 위한 foundation model을 처음부터 사전학습해 XGBoost보다 더 낮은 오탐과 더 높은 사기 탐지 성능을 얻었고, 이를 여러 금융 업무에 재사용 가능한 공통 기반으로 만들었다.

시간별 요약

1. 0:00
   거래용 foundation model이 필요한 이유 은행의 거래·고객 데이터는 방대하지만 언어 모델에 그대로 넣는 방식만으로는 최적의 활용이 어렵기 때문에, 여러 채널의 고객 거래를 하나의 기반 모델로 학습해 사기 탐지, 신용평가, 자금세탁방지, 마케팅에 재사용하는 접근이 제시된다.
2. 2:14
   왜 XGBoost만으로는 부족한가 기존 생산 모델인 XGBoost는 기준선으로는 강했지만, 새 모델은 지연시간과 사기 탐지 모두에서 더 나은 성능을 보이며 특히 false positive를 줄이고 탐지율을 높여 실무 효익을 만들었다.
3. 2:47
   수십억 건의 거래 월 단위로 수십억 건에 이르는 debit, credit card, check 거래를 한 모델로 다루는 것이 과제이며, 이 데이터를 여러 다운스트림 업무에 공통으로 쓰기 위한 표현 학습이 핵심 목표로 정리된다.
4. 3:22
   언어 모델과 거래 모델의 차이 언어 모델이 다음 토큰 예측을 통해 표현을 학습하듯, 거래 모델도 다음 거래나 다음 거래 토큰을 예측하지만 최종 목표는 예측 자체가 아니라 그 표현을 활용해 신용한도 증액, 사기 탐지, 자금세탁방지 같은 업무에 전이하는 데 있다.
5. 4:45
   처음부터 사전학습하기 기존 오픈 웨이트 모델을 가져다 쓰는 것이 아니라 거래 데이터로 transformer blocks를 처음부터 사전학습하고, 그다음에 다운스트림 태스크로 후속 학습하는 방식이 채택된다.
6. 5:58
   누가, 무엇을, 어떻게, 언제, 어디서 거래를 설명하는 핵심 축은 고객·가맹점 같은 who, 구매·거래 대상인 what, 신용·직불·디지털 같은 how, 시점인 when, 장소인 where이며, 이 다섯 축에서 원시 특징을 추려 약 100개 수준의 핵심 입력으로 압축한 뒤 transformer가 관계를 학습하도록 설계된다.
7. 7:59
   표 형태 데이터를 토큰으로 바꾸기 숫자형, 범주형, 우편번호, 금액, 거래 간 시간차처럼 이질적인 표 형식 데이터를 어떤 단위로 토큰화할지 정교하게 정해야 하며, 각 거래 특성을 토큰 ID와 embedding으로 매핑하는 과정이 모델 품질과 학습 가능성을 좌우한다.
8. 9:42
   아키텍처와 스케일링 Chinchilla 계열의 스케일링 원칙을 참고하되 거래 문제에 맞게 조정했고, trillion parameter 경쟁이 아니라 거래 도메인에 맞는 billion 규모 모델에 집중했다. 현재 1 billion 버전이 가장 큰 성능 향상을 줬고, 이후 11 billion 버전도 실험 중이다.
9. 12:10
   학습 설정 핵심 난제는 학습 기법 자체보다 tokenization과 후속 학습이며, mixed precision, distributed data parallel, flash attention, activation checkpointing 같은 표준 기법을 활용해 빠르고 효율적으로 학습했다.
10. 13:44
    사기 탐지 결과 사기 판별은 단일 거래만 보는 것이 아니라 과거 거래 전체와의 관계를 함께 보아야 하는데, transformer의 attention이 이 시계열 관계를 잘 포착해 탐지율을 높이고 오탐을 줄였다. 처리 지연도 250 milliseconds 이내 요구를 만족해 실서비스에 적용 가능했고, 결과적으로 수백만 달러 규모의 절감 효과가 있었다.
11. 16:47
    요약 이 모델은 Wells Fargo의 수십억 건 거래로 처음부터 사전학습한 기반 모델이며, 사기 탐지에서 성과를 보였고 앞으로 신용한도 증액, 자금세탁방지, 마케팅 등 여러 업무로 확장될 수 있다.

실무 인사이트

• 표 형태 데이터도 단순 회귀·트리 모델의 입력으로만 보지 말고, 원시 특징을 토큰화해 표현 학습을 하면 여러 업무로 재사용 가능한 공통 기반을 만들 수 있다.
• 사기 탐지처럼 시계열 맥락이 중요한 문제는 단일 거래 분류보다 과거 거래와의 관계를 모델에 자연스럽게 넣는 구조가 성능과 비용을 동시에 개선할 가능성이 크다.
• 금융 같은 도메인에서는 범용 대형 모델보다 도메인 특화 vocabulary와 tokenization 설계가 성능을 좌우하는 핵심 레버다.