Building the AI Agent Is Easy. Proving It's Safe Isn't - Jonathan Osborne, NatWest

한 줄 핵심

규제 산업에서 AI 에이전트를 실제 고객에게 배포하려면 에이전트 자체보다 안전성·평가·배포 통제 체계를 먼저 설계해야 한다는 점을 NatWest의 사례로 보여준다.

시간별 요약

1. 0:00
   소개 고객 응대용 AI 에이전트를 프로토타입에서 운영 환경으로 옮기는 과정에서 가장 쉬운 부분은 만드는 것이고, 가장 어려운 부분은 안전함을 입증하는 일이라는 문제의식을 제시한다.
2. 0:41
   NatWest와 Cora NatWest는 영국의 대형 소매은행으로 1,900만 고객을 보유하고 있으며, 디지털 어시스턴트 Cora가 하루 약 10만 건의 대화를 처리한다. 기존에는 대부분 스크립트형 응답이었지만, 이제 RAG와 지식베이스, 행동 수행이 가능한 AI 에이전트로 약 3분의 1의 여정을 전환하고 있다.
3. 1:43
   진짜 위험: 폭발 반경 모델의 성능보다 더 무서운 것은 1,900만 고객 규모에서 작은 오류가 실제 돈과 규제, 평판 문제로 이어지는 폭발 반경이다. 따라서 핵심 과제는 에이전트를 만드는 것이 아니라, 출시 승인 수준의 안전성을 증명하는 일이다.
4. 2:23
   스크립트 봇과 AI 에이전트 스크립트형 봇은 키워드와 분기 처리에는 강하지만 질문이 옆길로 새면 금방 막히는 반면, AI 에이전트는 지식베이스로 더 자연스럽게 답할 수 있다. 그러나 어떤 질문이든 답할 수 있다는 것은 곧 어떤 질문이든 틀리게 답할 수도 있다는 뜻이어서, 고객의 실제 대출·모기지 조건 같은 맥락에서는 위험이 커진다.
5. 3:40
   에이전트의 네 가지 새로운 실패 방식 에이전트는 추론·결정·생성을 하기 때문에 환각, 프롬프트 인젝션, 맞지만 쓸모없는 답변, 비결정성이라는 새로운 실패 모드를 가진다. 이 때문에 기존 소프트웨어 테스트와 회귀 테스트만으로는 안전성을 충분히 보장할 수 없다.
6. 4:52
   라우팅 퍼널 모델을 바로 붙이기보다 컨텍스트 필터, 결정적 사전 분류 규칙, 관련성·재작성 단계, 임베딩 기반 의도 분류기, 정책 규칙을 거치는 라우팅 퍼널로 공격면을 줄인다. 이는 접근 제어, 감사 가능성, 복원력, 버전 관리라는 은행의 요구를 충족시키면서 필요한 구간에만 모델을 쓰기 위한 설계다.
7. 6:34
   하나의 정확도 점수로는 부족한 이유 정확도 94% 같은 단일 점수는 실제로 중요한 안전성, 과업 수행 여부, 사용자 경험을 설명하지 못한다. 그래서 품질을 하나의 점수가 아니라 여러 축의 벡터로 보고, 잘못된 답인지·맞지만 불쾌한 답인지·위험한 답인지 구분해 모니터링해야 한다.
8. 7:43
   인간 검토: 83%가 54포인트 격차를 숨겼다 111건의 결제 대화에 대해 여러 사람이 검토했더니 전체 통과율은 83%였지만, 정상 경로는 97%, 예외 상황은 76%, 주제 전환은 43%로 크게 갈렸다. 또한 사람 검토자들 사이에서도 의도 이해 같은 주관적 항목은 합의율이 낮아, 평균 점수만으로는 실제 품질을 판단할 수 없다는 점이 드러났다.
9. 9:16
   너무 관대한 점수를 주는 LLM 판정자 LLM as a judge는 평균적으로는 인간과 비슷해 보여도 실제로는 좋은 사례와 나쁜 사례를 잘 구분하지 못해 상관관계가 거의 없을 수 있다. 판정 모델 자체가 구성 요소가 되므로, 모델만 바뀌어도 임계값이 무너질 수 있고, 에이전트와 다른 계열의 모델로 판정자를 두는 편이 더 안정적이다.
10. 11:06
    운영 환경에서 점수 매기기 실제 대화는 open source 표준으로 추적하고, 일부는 랜덤 샘플링하며, 중요한 대화는 별도로 골라 LLM 판정과 오프라인 평가를 수행한다. 에어갭 환경과 PII 통제, CI/CD 회귀 게이트, 전통적 ML 드리프트 감시까지 포함해 지속적 평가는 운영 인프라의 일부로 다뤄야 한다.
11. 14:06
    섀도 모드와 점진적 롤아웃 초기에는 섀도 배포로 실제 입력만 관찰하고 기존 스크립트 솔루션이 응답하게 하여 거의 위험 없이 생산 데이터를 확보한다. 이후 브랜드 단위로 비율 기반 롤아웃을 하며, feature flag로 즉시 스크립트 방식으로 되돌릴 수 있게 해 큰 배포를 작은 의사결정으로 쪼갠다.
12. 15:42
    게이트로서의 인간 피드백 컴플레인트 요약 에이전트에서는 인간 피드백을 단순한 좋아요가 아니라 재실행을 허용하는 게이트로 사용해, 왜 다시 돌렸는지의 이유와 고품질 학습 데이터를 함께 확보한다. 이 구조는 재사용 가능한 평가·모니터링 자산을 만들고, 기업에서 에이전트보다 평가 체계가 더 중요한 이유를 보여준다.
13. 16:48
    규제 환경 에이전트를 위한 교훈 실서비스 판정 데이터 기준으로 보면 판정자는 지나치게 호의적이기 쉬우므로, 평균보다 분포와 스팬을 보고 인간 검토와 얼마나 맞는지 확인해야 한다. 또한 judge 모델 자체가 임계값 설정의 일부가 되므로, 모델 변경은 곧 잠재적 breaking change이며, 전반적인 관측과 평가를 같은 플랫폼에서 관리하는 것이 중요하다.

실무 인사이트

• 규제 산업의 AI 도입은 모델 성능보다 평가·감사·롤백 체계를 먼저 설계할수록 배포 속도와 안전성을 함께 확보할 수 있다.
• 단일 평균 점수는 현장을 잘못 안심시킬 수 있으므로, 안전성·과업 수행·경험을 분리해 측정하고 예외 경로를 별도로 본다.
• LLM 판정자는 자동화된 정답 판정기가 아니라 또 하나의 모델이므로, 인간 검토와의 정합성 검증 및 판정 모델 변경 관리가 필수다.