AI Can't Make Up a Number It Can't Look Up - Vinoo Ganesh, Kepler

한 줄 핵심

AI가 숫자와 사실을 스스로 만들어내는 한 월스트리트 같은 고신뢰 환경에서는 쓸 수 없으며, Kepler는 검색·계산·검증을 분리해 “클릭해 확인 가능한” 출력만 내도록 설계한 시스템이다.

시간별 요약

1. 0:00
   소개 금융권에서 AI 신뢰 문제가 왜 중요한지와 함께, 검증을 단순한 후처리가 아니라 시스템 설계의 핵심으로 봐야 한다는 문제의식이 제시된다. 최근 투자와 경쟁이 빠르게 붙는 상황 속에서, Kepler가 어떻게 동작하는지 기술적으로 풀어보겠다는 방향을 잡는다.
2. 1:38
   월스트리트가 여전히 AI를 믿지 않는 이유 AI의 환각이 표면적 원인처럼 보이지만, 실제로는 금융 의사결정에 필요한 구조적 신뢰를 기술이 아직 제공하지 못하는 것이 핵심이다. 모델 성능이 좋아지면 해결된다는 기대만으로는 기관이 원하는 수준의 신뢰를 만들 수 없다.
3. 2:16
   환각과 알파의 관계 금융에서의 알파는 창의성과 차별화의 원천이며, 내부 데이터와 독자적 관점이 반영되지 않으면 경쟁우위도 사라진다. 그래서 문제는 단순히 모델이 숫자를 지어내는 것뿐 아니라, 기업 고유의 데이터와 지식이 시스템에 제대로 반영되지 않는 데 있다.
4. 3:14
   신뢰는 책임 소재가 있어야 한다 결과를 믿으려면 틀렸을 때 누구의 책임인지 추적할 수 있어야 하며, AI 앱도 그 수준의 책임 구조가 필요하다. 데모는 그럴듯해도 마지막 10%에서 틀리는 시스템은 실제 업무에서 신뢰를 얻기 어렵다.
5. 4:17
   틀린 숫자가 생기는 지점 오답은 잘못된 문서를 가져오거나, 맞는 출처에서 다른 숫자를 뽑거나, 계산을 모델에게 맡길 때 발생한다. 해결책은 검색 정확도 개선, 인용 단위 검증, 그리고 숫자 계산을 모델 대신 결정론적 도구에 맡기는 것이다.
6. 5:50
   Kepler가 다른 방식으로 구축되는 이유 원시 문서를 그대로 모델에 던지는 대신, 코드가 먼저 숫자와 사실에 포인터를 붙여 구조화된 저장소를 만든다. 모델은 답을 직접 생성하는 주체가 아니라 계획을 세우는 역할을 맡고, 숫자는 dereference를 통해서만 출력되도록 제한된다.
7. 7:34
   똑똑한 사람과 결정론적 도구의 결합 훌륭한 투자자나 분석가도 데이터가 맞아야 능력을 발휘하듯, AI도 사람이 판단하고 도구가 확정적으로 처리하는 분업 구조가 필요하다. 저장 가능한 정보는 결정론적으로 보관하고, 저장 불가능한 정보는 전처리와 하이브리드 저장으로 다루는 흐름이 핵심이다.
8. 9:07
   조회는 틀릴 수 없다 검색은 확률적이어서 흔들릴 수 있지만, lookup은 정해진 키가 있으면 같은 결과를 낸다. 이 차이를 이용해 불확실한 생성보다 재현 가능한 조회를 중심에 두는 것이 신뢰성의 기반이 된다.
9. 9:26
   넓게 찾고 좁혀 가기 ANN과 BM25로 후보 문서를 넓게 모은 뒤, reranking과 cross-encoder로 점점 좁혀 가는 다단계 검색 구조를 사용한다. LLM이 약한 넓은 탐색을 시스템이 대신 맡아, 검색 비용을 통제하면서도 더 정확한 문서를 찾게 한다.
10. 10:46
    문서 검색의 보안 테넌트 필터 누락, 사칭, 오래된 결과, 직접 읽기로 인한 우회, 비어 있는 인덱스 등은 문서 검색 시스템에서 실제로 치명적인 보안 문제를 만든다. 따라서 검색 권한과 범위를 처음부터 보안과 함께 스코프팅해야 한다.
11. 12:25
    검증이 작동하는 방식 사실을 결정론적으로 저장하고, 모델이 그 포인터를 읽어서만 값을 꺼내게 하면 출처 일치 여부를 확인할 수 있다. 이 구조는 단순한 인용 확인을 넘어, 실제로 존재하는 사실만 출력되게 만드는 장치다.
12. 14:00
    검증됨, 수정됨, 거부됨 시트는 citation이 검증되거나, 검색 시점에 수정되거나, 아예 거부되는 흐름을 보여 준다. 존재하지 않는 사실이나 판례가 출력되지 않도록 만드는 이 방식은 금융을 넘어 여러 산업에 적용 가능한 신뢰 레이어다.
13. 15:40
    프로덕션 결과 실제 운영 데이터에서 모델이 숫자를 만들지 못해 거부하는 비율이 크게 줄었고, 포인터를 강제로 해석하게 만드는 구조가 효과를 냈다. 다만 모델의 확률성 때문에 후처리 단계가 여전히 필요하다는 점도 확인된다.
14. 16:31
    어떤 AI 벤더에게나 물어야 할 질문 숫자 검증 가능 여부, 출처를 클릭해 볼 수 있는지, 계산과 추출을 모두 점검하는지, 권한 밖 파일 유출을 막는지, 출처 없는 숫자를 어떻게 처리하는지를 반드시 확인해야 한다. 신뢰 가능한 AI 도입은 기능 목록보다 검증 질문의 수준에서 갈린다.
15. 17:29
    우리는 검색 단계를 벗어났다 AI의 다음 과제는 더 똑똑한 검색이 아니라, 존재하지 않는 값을 반환하지 않게 만드는 인프라와 하네스를 구축하는 일이다. 이제는 모델 자체보다, 믿을 수 있는 출력을 보장하는 기반 시스템이 경쟁력의 핵심이 된다.

실무 인사이트

• 고신뢰 AI에서는 환각 제거보다 “틀렸을 때 어디서 틀렸는지 추적 가능한 구조”를 먼저 설계해야 한다.
• 숫자 생성과 사실 검색을 모델에 일괄 맡기지 말고, 조회·계산·검증을 분리하면 금융 같은 도메인에서 신뢰성과 비용을 동시에 개선할 수 있다.
• AI 도입 여부를 판단할 때는 데모 품질보다 포인터 검증, 출처 확인, 권한 스코프 같은 운영 질문을 먼저 점검해야 한다.