Shipping AI to a Million Patients Without an A/B Test — Jared Joselowitz, Ufonia

한 줄 핵심

환자에게 닿기 전에 위험을 증명하고 줄이는 평가·시뮬레이션 루프가 있어야 의료 AI를 대규모로 안전하게 출시할 수 있다.

시간별 요약

1. 0:00
   환자가 듣기 전에 안전성을 입증해야 하는 이유 의료 AI는 환자에게 한 번 말하면 되돌릴 수 없고, 환자 대상 A/B 테스트도 불가능하므로 출시 전에 안전성을 증명해야 한다. 모델 카드나 벤치마크 점수만으로는 실제 환자 피해를 막을 수 없다.
2. 1:28
   Dora와 실제 운영 규모 Dora는 수술 후 추적관리나 수술 전 확인 같은 임상 통화를 대신하는 음성 AI 에이전트다. 영국에서 20개 병원, 약 200,000건의 실제 임상 통화를 수행했고, 2년 내 100만 명 규모로 확장할 계약을 확보했다.
3. 2:18
   백내장 수술 후 환자 통화 예시 Dora는 증상을 묻고, 회복 기간과 생활 제한 같은 질문에 답하는 실제적인 임상 대화를 수행한다. 단순 안내가 아니라 의료 조언을 제공하기 때문에 안전 검증이 필수다.
4. 3:22
   의료 조언은 규제 대상 의료기기 환자에게 증상을 묻고 조언을 제공하는 순간 소프트웨어는 의료기기가 되며 규제를 받아야 한다. 따라서 무엇을 하는지, 무엇이 잘못될 수 있는지, 그 위험을 어떻게 막는지가 검증의 출발점이 된다.
5. 3:59
   실제로 사람을 해칠 수 있는 위험부터 정의 빨간 신호 증상을 놓치거나, 근거 없는 답을 지어내거나, 환자의 불안을 무시하는 것처럼 구체적인 위해 가능성을 먼저 나열해야 한다. 문제는 기능 오류가 아니라 실제 환자 피해로 이어질 수 있는 해악이다.
6. 4:35
   5% 배포 후 롤백 방식이 통하지 않는 이유 일반 소프트웨어처럼 소수 사용자에게 배포하고 대시보드를 보며 롤백하는 방식은 환자 대상 서비스에서는 성립하지 않는다. 이미 환자가 피해를 입은 뒤에는 롤백이 의미 없으므로, 사전 시뮬레이션 중심의 접근이 필요하다.
7. 5:53
   자율주행에서 빌려온 시뮬레이션 전략 실제 사용자에게 바로 실험하지 않고, 대규모 시뮬레이션을 먼저 돌리는 자율주행의 방식이 의료 AI에도 적용된다. 사람에게 발생 가능한 위험을 현실에서 먼저 시험하는 것은 윤리적으로도 불가능하므로 시뮬레이션이 사실상 유일한 선택지다.
8. 6:32
   Matrix와 환자 역할 모델 PatBot Matrix는 실제 환자 없이 임상 대화를 재현하는 시뮬레이션 프레임워크이고, PatBot이라는 LLM이 환자 역할을 맡는다. 시나리오와 임상 워크플로에 조건을 걸어 다양한 대화 상황을 빠르게 생성하고 검증할 수 있다.
9. 8:24
   실제 환자도 가짜 환자를 구분하기 어려웠던 결과 실제 환자 대상 비교에서 다수의 대화는 시뮬레이션 환자가 더 현실적이라고 인식될 정도로 자연스러웠다. 동시에 현실적인 환자는 하나가 아니라 여러 페르소나가 존재하므로, 다양한 유형을 폭넓게 모사하는 것이 중요하다.
10. 9:43
    자동 판정기 BevJudge와 임상의 검증 대량의 시뮬레이션 대화를 사람이 모두 읽는 것은 불가능하므로, 또 다른 LLM인 BevJudge가 위험 발생 여부를 자동 판정한다. 240개 사례를 10개 임상 전문과의 라벨과 비교한 결과, F1 0.96과 거의 완벽한 민감도를 보였다.
11. 11:35
    프롬프트는 생각보다 매우 취약함 형식만 바뀌어도 성능이 크게 흔들리고, few-shot 예시의 순서만 바꿔도 결과가 극단적으로 달라질 수 있다. 수동 프롬프트 조정은 재현성이 낮고 시간이 많이 들어 지속 가능한 방법이 아니다.
12. 12:50
    손대는 대신 자동으로 최적화하는 프롬프트 Jeppa 같은 프롬프트 최적화 도구는 실패 사례를 바탕으로 LLM이 프롬프트를 반복 개선하게 만든다. 사람의 감에 의존하는 대신, 짧은 시간 안에 재현 가능한 최적 프롬프트를 찾을 수 있다.
13. 13:30
    평가를 실제 비용 함수로 바꾸기 정확도 평균이 아니라, 빨간 신호를 놓치는 비용과 과잉 경보의 비용이 다른 비용 행렬로 평가해야 한다. 임상의와 함께 정의한 목적함수를 그대로 최적화해야 원하는 안전 특성을 얻을 수 있다.
14. 14:42
    반응형 배포 대신 반복 개선 플라이휠 실제 통화 데이터와 시뮬레이션 엣지 케이스를 모아 프롬프트를 최적화하고, 다시 Matrix로 안전성을 검사하는 순환 구조가 핵심이다. 배포할수록 데이터가 쌓여 시스템이 더 좋아지는 플라이휠이 만들어진다.
15. 15:20
    시뮬레이션은 필요하지만 충분하지 않음 시뮬레이션은 수천 번의 실험을 저비용으로 돌리게 해 주지만, 실제 환자에게 효과가 있다는 증거를 대신하지는 못한다. 검증은 시뮬레이션에서 시작해 사용자 테스트, 감독된 임상 평가, 모니터링 배포로 단계적으로 넘어가야 한다.
16. 16:38
    모델이 아니라 증거를 출시하기 규제와 안전성 관점에서 중요한 산출물은 모델 자체가 아니라 각 위험에 연결된 데이터, 프롬프트, 판정 기록과 그 증거다. 해악 정의, 위험 사례 합성, 비용 함수 최적화, 버전 고정과 추적이 실무의 핵심이다.
17. 17:14
    새 모달리티에도 같은 안전 프레임워크 적용 음성처럼 새로운 입력 방식이 생기면 백채널링이나 끼어들기 같은 추가 위험이 생기지만, 기본 접근은 변하지 않는다. 새로운 모달리티마다 위험을 다시 정의하고 시뮬레이션과 판정을 돌리면, 실제 사용자보다 먼저 실패를 발견할 수 있다.

실무 인사이트

• 의료·고위험 도메인에서는 출시 전 검증의 단위가 기능이 아니라 '환자에게 발생 가능한 해악'이어야 한다.
• 시뮬레이션은 빠른 개발을 가능하게 하지만, 임상의가 정의한 비용 함수와 자동 판정이 결합되어야 실제 운영 가능한 품질 관리가 된다.
• 배포 전략도 바뀌어야 한다. 롤백 중심 운영 대신, 증거를 누적하면서 권한을 단계적으로 넓히는 방식이 더 안전하다.