Don't Approve the AI Model. Approve the App - Doneyli De Jesus, Langfuse

한 줄 핵심

금융 같은 규제 산업에서는 공개 벤치마크가 아니라 자체 데이터와 도메인 기준으로 애플리케이션을 평가하고, 모델이 아니라 앱 전체에 게이트를 걸어야 생산 배포가 가능하다.

시간별 요약

1. 0:00
   소개 Langfuse에서의 경험을 바탕으로, 대형 은행의 AI 애플리케이션을 안전하게 프로덕션에 올리기 위한 가드레일과 평가 체계를 다룬다. 핵심 문제는 모델 성능이 아니라 규제 산업에서 실제로 배포 가능한 앱인지 검증하는 것이다.
2. 0:41
   은행은 공개 벤치마크를 신경 쓰지 않는다 규제 산업은 공개 벤치마크 성적보다 내부 데이터와 실제 업무에 맞는 결과를 더 중시한다. 금융 서비스에서는 은행 고유의 문맥과 지식이 중요하므로, 외부 기준만으로는 앱의 실사용 가능성을 판단할 수 없다.
3. 3:01
   모델이 아니라 애플리케이션을 인증한다 검증의 대상은 개별 모델이 아니라 10K analyst 같은 실제 업무 애플리케이션이다. 모델은 바뀔 수 있어도, 배포 판단은 앱이 요구사항을 충족하는지에 따라 이뤄져야 한다.
4. 3:18
   온프레미스, 게이팅, 에어갭 금융권은 데이터 민감도 때문에 자체 데이터센터나 로컬 GPU 인프라를 선호한다. 외부 인터넷과 분리된 게이팅, 에어갭 환경이 필요하며, 데이터 노출 가능성 자체를 통제해야 한다.
5. 5:00
   앱이 준비되었음을 증명하기 시스템 프롬프트, 모델, 도구 변경이 생길 때마다 앱이 여전히 정확성, 규제 준수, 사용성 기준을 만족하는지 증명해야 한다. 이를 위해 패스·페일 판정을 내리는 승인 프레임워크가 필요하다.
6. 6:00
   골든 데이터셋과 트레이스 평가의 출발점은 골든 데이터셋이며, 이를 기준으로 테스트 케이스를 운영화해야 한다. 실행 후에는 트레이스가 증거가 되고, 그 증거를 바탕으로 여러 차원의 점수를 산출해 통과 여부를 판단한다.
7. 7:20
   근거는 잘하지만 숫자는 약하다 모델은 내부 자료를 근거로 답변하는 능력은 높아도 수치 계산에서는 자주 실패한다. 따라서 근거성 점수만 높다고 합격시키면 안 되며, 약한 부분은 도구로 보완해 앱 품질을 유지해야 한다.
8. 8:52
   전체 워크플로를 게이팅하기 평가는 단일 점수가 아니라 계획, 검색, 계산, 결과 생성까지 전체 흐름에 걸쳐 이뤄져야 한다. 평균 점수만 보지 말고 항목별 임계값을 두고, 기준을 넘지 못하면 프로덕션으로 승격하지 않는다.
9. 10:34
   데이터셋 만들기 평가용 데이터셋은 입력, 기대 출력, 메타데이터로 구성된 key-value 형태가 적절하다. 이렇게 만들어진 데이터셋으로 실제 에이전트 실행을 점수화하면, 계산 도구 추가 같은 변경이 성능에 미친 영향을 분명하게 확인할 수 있다.
10. 11:32
    점수화: 코드, 경로, LLM 판정 평가는 결정적 코드 점수, 에이전트가 거친 경로 평가, LLM judge를 함께 써야 한다. 특히 LLM judge만 100% 의존하면 부족하므로, 정량성과 정성성을 섞어 다차원 평가를 해야 한다.
11. 13:48
    도메인 전문가와 함께 게이트 설정하기 기술 기준만으로는 충분하지 않으며, 리스크와 규제 도메인 전문가가 합격 기준을 정해야 한다. 어떤 차원은 평균이 높아도 규제 준수에서 0점이면 즉시 탈락처럼, 업무별 임계값이 달라져야 한다.
12. 15:53
    주석 큐와 피드백 실패 사례를 모아 도메인 전문가가 검토할 주석 큐로 전달하면, 실패 원인에 대한 피드백을 체계적으로 수집할 수 있다. 이 피드백은 다시 골든 데이터셋과 평가 기준을 개선하는 근거가 된다.
13. 17:31
    몇 주에서 몇 분으로 자체 데이터와 자체 기준으로 앱을 평가하면, 위험·규제 검증에 걸리던 시간이 몇 주에서 몇 분으로 줄어든다. 공개 벤치마크 대신 자체 벤치마크를 만들고, 모델이 아니라 앱을 게이팅하며, 도메인 전문가의 기준을 반영하는 것이 핵심이다.

실무 인사이트

• 규제 산업에서는 모델 점수보다 배포 가능한 앱인지가 핵심이므로, 평가 단위를 모델에서 애플리케이션으로 바꾸는 것이 가장 먼저다.
• 평가 체계는 골든 데이터셋, 트레이스, 다차원 점수, 임계값 설정까지 연결되어야 하며, 하나의 평균 점수로 의사결정하면 위험하다.
• 도메인 전문가의 피드백을 주석 큐와 재평가 루프로 연결하면, 품질 검증과 데이터셋 개선을 동시에 자동화할 수 있다.