Small Models, Big Results: Training a Finance Agent for Under $500 — Charles Dickens, Snorkel AI

한 줄 핵심

작은 4B 모델도 금융 업무에 맞는 고품질 데이터와 단순한 RL 보상 설계만 있으면 235B 모델을 이길 수 있으며, 에이전트의 신뢰성은 규모보다 전문화와 평가 설계가 좌우한다.

시간별 요약

1. 0:00
   소개 금융 시뮬레이션 환경에서 4B 모델이 235B 모델보다 더 나은 성능을 낸 사례를 제시하며, 뒤이어 그 이유와 재현 가능한 학습·평가 방법을 설명한다.
2. 0:32
   전문화는 규모를 이길 수 있다 기업용 AI 업무에서는 파라미터 수보다 신뢰성과 도메인 적합성이 더 중요하며, 도메인과 과업 분포를 잘 반영한 고품질 데이터가 있으면 작은 모델도 프런티어급 모델에 필적할 수 있다.
3. 1:07
   Snorkel AI 소개 Snorkel AI는 연구와 산업 배포의 접점에서 고품질 데이터, 벤치마크, 환경을 구축하는 팀이며, 공개 연구와 벤치마크, 협업 연구, 오픈 아티팩트 공개를 핵심 축으로 삼는다.
4. 2:32
   UC Berkeley와의 협업 UC Berkeley Sky Computing Lab과 함께 금융 태스크에서 Qwen 3 4B 모델이 235B 변형보다 더 높은 정답률을 보였고, 관련 코드·합성 데이터·훈련 스크립트는 GitHub에 공개되어 있다.
5. 3:51
   두 모델의 이야기 금융 기관이 원하는 것은 복잡한 스키마, 레거시 API, 긴 워크플로에서도 오류가 누적되지 않고 감사 가능한 에이전트이며, 이런 환경에서는 단순한 스케일업보다 신뢰성 있는 평가와 개선이 더 중요하다.
6. 4:41
   만물박사보다 전문가 범용 모델보다 문서 형식, 도구, 규칙을 정확히 아는 전문가형 워크플로가 적합하며, 이를 위해 전문가 검증형 금융 QA 데이터인 FinQA를 만들었다.
7. 5:06
   10-K 공시로 FinQA 만들기 SEC의 10-K 보고서에서 스키마와 데이터를 추출해 약 6,900개의 표를 만들고, 각 표에서 질문-답변 한 쌍을 생성했으며, 금융 전문가가 만든 질문 분류 체계를 문맥으로 활용했다.
8. 6:01
   세 단계 검증 메타데이터 일관성 검증, 독립 에이전트의 자동 검토, 전문가의 수동 검토를 거쳐 현실적인 질문과 검증 가능한 최종 답을 확보했고, 회사를 기준으로 분할해 누수도 막았다.
9. 7:16
   모델이 실패하는 지점 주요 실패는 존재하지 않는 스키마를 지어내는 환각, 불필요하게 컨텍스트를 소모하는 쿼리, 오류 메시지를 반영하지 않고 같은 전략을 반복하는 복구 실패이며, 이런 문제는 금융뿐 아니라 보험에서도 관찰된다.
10. 8:16
    rLLM으로 학습하기 R LLM 프레임워크는 다양한 에이전트 프레임워크와 거의 수정 없이 연동되고, CLI 중심 워크플로와 여러 RL 알고리즘을 지원해 금융 사례와 수학 추론 모두에 활용할 수 있다.
11. 9:16
    학습 환경 에이전트는 ReAct 루프로 실행되며 생성한 약 7,000개의 표에 접근해 도구를 사용하고, 보상은 GPT 5 nano를 판정자로 한 참조 기반 이진 정답 여부로 계산된다.
12. 9:40
    500달러 미만의 학습 Qwen 3 4B를 기반으로 GRPO와 이진 보상을 사용해 약 1,000개의 동시 환경에서 궤적을 생성했고, 총비용은 판정 API와 연산비를 합쳐 500달러 미만이었다.
13. 10:20
    4B가 235B를 이기다 전문화된 도구와 학습을 입힌 4B 모델은 전문가가 선별한 홀드아웃 290개 샘플에서 정확도가 두 배 이상 향상되어, 더 큰 235B 모델을 능가했다.
14. 10:55
    더 어려운 문제에도 일반화되는가 두 개에서 다섯 개 표를 연쇄적으로 다뤄야 하는 더 어려운 FinQA reasoning 데이터에서도, 단순 데이터로 학습한 도구 사용 규율이 그대로 이전되었고 별도 다중 표 학습 없이도 성능이 올랐다.
15. 12:05
    일반 도구 사용은 유지됐다 BFCL 벤치마크에서 일반적인 함수 호출 능력은 오히려 소폭 향상됐고, 멀티턴과 메모리 항목도 개선되어 RL 미세조정이 범용 도구 사용 능력을 해치지 않았다.
16. 12:35
    단순한 데이터가 이겼다 단일 표 데이터만 학습한 경우가 단일·다중 표 혼합이나 커리큘럼보다 더 큰 향상을 만들었으며, 병목은 추론 깊이가 아니라 도구 사용 신뢰성이었다.
17. 13:20
    단순한 보상이 이겼다 중간 단계, 표 접근, 쿼리 완성도 등을 세밀하게 주는 복잡한 보상보다, 단일 이진 보상이 더 큰 학습 효과를 냈다.
18. 14:00
    기업용 에이전트의 청사진 작은 모델도 품질 좋은 데이터와 RL만 있으면 특정 도메인에서 충분히 강해질 수 있고, 이 방식은 의료·법률·보험 같은 다른 전문 영역에도 적용 가능하다.
19. 14:45
    에이전트를 평가하는 방법 평가 축은 환경 복잡도, 자율성의 길이, 출력 복잡도이며, 실제 업무에 가까운 동적 환경과 긴 의사결정, 다양한 산출물을 제대로 재는 벤치마크가 아직 부족하다.
20. 15:45
    공개 벤치마크 지원금 이 프로젝트를 뒷받침한 공개 벤치마크 지원 프로그램을 소개하며, 새로운 벤치마크의 제안, 선정, 개발, 공개까지 이어지는 절차와 채용 정보를 안내한다.

실무 인사이트

• 기업용 에이전트는 범용 지능보다 도메인 데이터 품질, 도구 사용 안정성, 감사 가능성이 성능을 더 크게 좌우하므로 학습 데이터 설계에 먼저 투자하는 것이 효율적이다.
• 복잡한 보상이나 혼합 데이터보다 단순한 과업 정의와 이진 보상이 더 나은 결과를 낼 수 있어, 초기에는 측정 가능한 최소 목표로 RL을 설계하는 편이 좋다.
• 실무 평가에서는 정답률만 보지 말고 환경 복잡도, 자율성 길이, 출력 복잡도까지 포함한 벤치마크를 만들어야 실제 배포 성능을 예측할 수 있다.