Do Not Let Models Invent Numbers - Vinoo Ganesh, Kepler

한 줄 핵심

금융 데이터에서는 LLM이 숫자를 직접 쓰게 두면 안 되며, 검색·계산·검증을 분리해 모든 숫자를 출처까지 추적 가능한 형태로만 내보내야 한다는 아키텍처를 설명한다.

시간별 요약

1. 0:00
   소개 Kepler의 현재 핵심 강점인 금융 데이터의 정확성과 추적 가능성을 소개하고, TurboPuffer를 활용한 전체 아키텍처를 설명하겠다는 배경을 제시한다. 금융 현장에서 검증 가능한 수치를 다뤄야 한다는 문제의식이 출발점이다.
2. 1:47
   왜 LLM과 금융 숫자는 잘 맞지 않는가 LLM은 본질적으로 확률 기반이라 숫자 정확성과 감사 가능성이 필요한 금융 업무와 충돌한다. 출처가 틀리거나 숫자 자체가 틀리거나 단위·기간 해석이 어긋나는 문제가 자주 발생하며, 모델은 복잡한 산술을 신뢰할 수준으로 수행하지 못한다.
3. 4:02
   모델은 숫자를 인용하고, 계산은 코드가 한다 핵심 설계는 모델이 숫자를 작성하지 않고, 필요한 숫자를 찾아 인용만 하게 만드는 것이다. 실제 계산은 사람이 정의한 결정적 코드가 수행하고, 그 위에 후처리 필터를 얹어 결과를 통제한다.
4. 4:30
   SEC 공시에서 인용 레지스트리 만들기 30M+ SEC 문서를 전처리해 재무 수치와 문장형 사실을 인용 가능한 앵커로 등록한다. 검증할 수 없는 인용은 생산 환경에서 거부하며, 숫자가 어디서 왔는지 문서 단위로 역추적할 수 있게 만든다.
5. 6:03
   질문을 끝까지 처리하는 방식 사용자 질문은 계획 생성부터 검색, 계산, 표 생성, 인용 등록까지 여러 단계로 분해된다. 숫자는 원문 안에서 나온 맥락과 연도를 함께 붙여 구조화하고, 검증되지 않은 값은 후처리 단계에서 제거한다.
6. 8:27
   사실을 값·단위·스케일·기간으로 구조화하기 재무 수치는 값만으로는 의미가 없고, 단위·스케일·기간이 함께 있어야 한다. 공시뿐 아니라 OneDrive, Box, SharePoint, Outlook 같은 내부 자료까지 같은 방식으로 다루기 위해, 구조화된 데이터는 구조화하고 나머지는 검색으로 보완한다.
7. 9:48
   하이브리드 검색과 재정렬 TurboPuffer에서 벡터 검색과 BM25를 함께 쓰고, 넓게 검색한 뒤 cross encoder로 재정렬해 신뢰도 높은 소스를 우선한다. 서로 다른 문서가 같은 수치를 다르게 말할 수 있으므로, 단순 유사도보다 출처 신뢰도와 충돌 해소가 중요하다.
8. 11:30
   테넌트 분리와 보안 문서 접근은 테넌트와 권한 기준으로 재승인되어야 하며, 다른 조직이나 데스크의 정보가 섞이지 않도록 필터를 누적한다. 인증된 주체만 범위가 제한된 토큰을 만들 수 있게 해 데이터 유출을 막는다.
9. 12:37
   모든 숫자를 추적 가능하게 만들기 플랫폼의 각 사실에는 고유 ID와 메타데이터가 붙고, 표시 형식은 사용자가 원하는 통화·단위로 바꿀 수 있다. 모든 숫자는 클릭하면 출처와 계산 과정을 확인할 수 있어야 하며, 같은 질의는 언제 실행해도 같은 결과를 내야 한다.
10. 14:42
    검증되지 않는 것은 제거하기 토큰 흐름 중에 참조를 역참조해 출처를 찾고, 일치하지 않는 숫자는 과감히 제거한다. 다만 일부 경우에는 citation repair로 보정 시도를 하며, 이 과정은 모델 환각을 허용하지 않는 대신 신뢰성을 우선하는 선택이다.
11. 16:41
    일반적인 RAG가 놓치는 것 그냥 LLM에 벡터DB를 붙이는 수준으로는 금융 분석의 정확성과 감사 가능성을 보장할 수 없다. 평가 결과 상당수 인용이 거부되었고, 그중 많은 수가 아예 잘못된 숫자였기 때문에, 숫자를 모델이 쓰지 못하게 구조적으로 차단해야 한다.
12. 18:32
    Kepler의 실제 동작 Apple의 2025 revenue 같은 질문에 대해 클릭 가능한 숫자, 원문 문서, 뒤에서 수행된 계산이 모두 함께 노출된다. 이 아키텍처는 금융 리서치에서 사람이 수작업으로 PDF를 Excel로 옮기는 흐름을 대체할 수 있는 방향으로 제시된다.
13. 19:46
    보증의 한계 Kepler는 숫자 인용, 계산 분리, 인용 검증, 테넌트 분리, recall 측정까지는 보장하지만, 모든 일을 대체하는 만능 시스템은 아니다. 대신 AI가 아이디어 생성보다 반복적인 데이터 작업을 맡고, 사람은 더 높은 수준의 판단에 집중하는 방향이 현실적인 목표다.

실무 인사이트

• 금융 AI에서는 정확한 답변보다도 먼저 '숫자의 출처와 계산 경로를 증명할 수 있는가'를 제품 요구사항으로 정의해야 한다.
• RAG의 성패는 검색 성능만이 아니라, 검색 후 숫자를 검증·거부·보정하는 후처리 계층을 얼마나 강하게 두느냐에 달려 있다.
• 내부 문서와 공시를 함께 다루는 시스템은 검색 인프라보다도 권한 분리, 사실 구조화, 감사 로그 설계가 더 중요하다.