200 Million Patient Interactions Later — Vivek Muppalla, Hippocratic AI

한 줄 핵심

Hippocratic AI는 의료 통화를 위한 특화된 AI 스택을 직접 구축해, 속도·정확도·안전·공감을 동시에 만족하는 대규모 환자 대화 시스템을 만들었다.

시간별 요약

1. 0:00
   의료 제공자가 먼저 전화를 걸어온 적이 있는가 의료 시스템은 역사적으로 의사와 시간, 비용이 부족한 희소성 위에서 작동해 왔고, 그 결과 환자에게 선제적으로 연락하는 일은 드물었다. 200 million건이 넘는 환자 대화를 수행하는 제품은 이 희소성의 전제를 바꾸려는 시도다.
2. 1:05
   분류를 수학 문제로 보고, 무엇이 그 전제를 뒤집는가 과거에는 필요한 만큼만 돌보는 배분이 불가피했지만, 안전한 임상 대화를 할 수 있는 AI와 낮아지는 비용이 그 계산을 뒤집고 있다. 핵심 목표는 clinician을 대체하는 것이 아니라, 지금까지 닿지 못한 모든 환자에게 접근을 확장하는 것이다.
3. 1:54
   모든 직원이 서약하는 원칙 조직의 기준은 do no harm, patient first, access for all이며, 이는 벽의 문구가 아니라 입사 첫날 모든 직원이 실제로 서약하는 운영 원칙이다. 이 원칙을 기반으로 200 million clinical interactions, zero significant safety incidents, 60개 이상의 health systems, 8.5/10 환자 만족도를 달성했다.
4. 2:44
   환자 통화의 시작부터 에스컬레이션까지 데모에서는 AI가 환자 본인 확인, 복약명 인식, 혈압 수치 확인, 약 복용 중단 여부 확인을 수행하고 필요 시 간호사에게 즉시 넘긴다. 특히 짧은 문장이나 불명확한 발화도 임상적으로 안전하게 해석하고, 호흡곤란 같은 위험 신호는 즉시 사람에게 에스컬레이션한다.
5. 5:12
   범용 음성 스택이 통하지 않는 이유 이 제품의 핵심 난제는 지능과 지연 시간이며, 임상적으로 안전한 모델은 너무 느리고 빠른 모델은 정확도가 부족하다. 전화 대화에서는 이 둘의 균형이 필수라서, 일반적인 음성 스택으로는 요구 수준을 충족할 수 없다.
6. 6:04
   속도와 지능을 얻기 위한 수직 통합 해결책은 스택 전체를 처음부터 수직 통합으로 설계해 각 계층을 최적화하는 것이었다. 또한 일반적인 음성 시스템과 달리 lab results check, IVR navigation 같은 실제 업무 기준에서 99% 이상 정확도를 목표로 하며, 확보한 지연 시간은 더 많은 지능을 채워 넣는 데 다시 사용한다.
7. 7:44
   지연 시간과 지능이 서로를 키우는 선순환 지연 시간을 줄이면 그 여유에 더 많은 지능을 넣을 수 있고, 다시 최적화를 반복하면서 전체 품질이 함께 상승하는 플라이휠이 형성된다. Polaris는 듣기, 추론, 말하기를 하나의 초고속 라운드트립으로 묶은 별자리형 아키텍처다.
8. 8:36
   Polaris와 동시에 31개 모델을 돌리는 구조 Polaris는 바이링구얼 전환, 배경 소음 감지, 문맥 이해를 담당하는 청취 계층, 31개 모델이 동시에 돌아가는 추론 계층, 그리고 음성·문서화·회신을 담당하는 출력 계층으로 구성된다. 단일 모델의 단일 실패 지점을 피하기 위해 전문 모델들을 병렬로 배치해 중복성과 안전성을 확보한다.
9. 9:29
   현실 세계에서 음성 인식이 자주 틀리는 지점 현실의 통화 환경은 시끄럽지만 많은 ASR 벤치마크는 조용한 방에서 만들어져 있어, 실제 오류의 상당수가 reasoning이 아니라 mishearing에서 발생한다. 스페인어 C가 알파벳 C로 잘못 들어가거나 아랍어 약품명이 크게 오인식되는 문제가 대표적이다.
10. 10:27
    오디오 모델에 문맥과 도메인 지식을 주입하기 단순한 speech-to-text가 아니라 audio LLM으로 설계해, 오디오와 함께 대화 맥락과 도메인 지식을 입력한다. Whisper V3 large turbo를 임상 대화에 맞게 미세조정하고, conformer projector로 prosody를 보존하면서 토큰화해 '무엇을'뿐 아니라 '어떻게' 말했는지도 반영한다.
11. 11:19
    무한한 약 목록 대신 유한한 목록을 다루기 맥락으로 현재 복용 약과 업무 목적, 정책을 함께 넣으면 약물명을 무한한 후보에서 추측하는 대신 유한한 후보로 좁힐 수 있다. 주소나 전화번호처럼 음성 인식이 취약한 정보도 합성 데이터와 contextual biasing으로 학습해 정확도를 끌어올린다.
12. 12:10
    한 단어 답변을 다시 채점하기 환자 응답은 A/N, 5/fine처럼 한 단어 수준인 경우가 많아 오인식이 치명적이므로, 단일 단어를 감지하면 문맥을 활용한 2차 채점을 수행한다. 이 방식으로 의료 단어 정확도를 표준 off-the-shelf 모델 대비 50% 이상 개선했고, P99 지연 시간도 3배 빠르다.
13. 13:51
    전문가가 언제 발언해야 하는지 결정하는 방식 31개 전문가 모델은 모두 동시에 돌되, 먼저 지금 발언할 필요가 있는지 빠르게 판별하고 필요 없으면 즉시 short circuit한다. ibuprofen 같은 특정 약물이 나오면 약물 전문 모듈이 개입하고, scheduling 같은 영역에서는 별도 모델과 verifier가 tool call 실패를 줄인다.
14. 14:43
    도구 호출을 검증하는 장치 tool call은 파라미터 오류와 응답 오류가 많기 때문에 백그라운드 verifier가 항상 검증을 수행한다. 일정 예약처럼 시간이 허용되는 경우에는 오프라인 검증과 사후 수정, 필요 시 환자 재연락까지 포함해 오류를 바로잡는다.
15. 15:34
    양자화, 추측 디코딩, 캐시 추론 최적화는 품질을 훼손하지 않는 범위에서만 허용되며, 16-bit를 4-bit로 줄이는 quantization, 작은 모델이 먼저 토큰을 생성하는 speculative decoding, 96% 이상의 hit rate를 내는 KV cache compression을 사용한다. 이런 최적화가 누적되어 제품 개발 속도와 응답 지연을 동시에 개선한다.
16. 16:25
    여기서는 99%가 나쁜 수치인 이유 하루 10,000통의 통화에서 1% 오류는 100명의 환자가 잘못된 일정 정보를 받는다는 뜻이므로, 단순히 99% 정확도라고 말할 수 없다. 예약 오류는 불편을 넘어 중요한 진료를 놓치게 만들 수 있어, 이 문맥에서는 99%도 충분하지 않다.
17. 17:14
    1% 실패를 잡아내기 위해 필요한 테스트 1% 오류를 99% 확신으로 잡아내려면 수백~수천 개의 테스트가 필요하므로 synthetic data만으로는 부족하다. 그래서 7,000명 이상의 trained clinicians과 700,000건 이상에 가까운 실제 임상 대화를 활용해 지속적으로 평가한다.
18. 18:03
    사람과 같은 기준으로 채점하기 모델 결과를 correctness만이 아니라 no harm, minor harm, severe harm, death의 동일한 인간 기준으로 평가한다. Polaris는 no harm 기준 99.89%를 달성했으며, 이는 AI가 피로를 느끼지 않는다는 점과 상시 감독이 가능하다는 점의 결과다.
19. 18:55
    공감을 측정하는 벤치마크 만들기 안전만으로는 충분하지 않고, 환자가 마음을 열려면 대화가 공감적이어야 하므로 empathy를 측정하는 별도 벤치마크 HEART를 만들었다. 동시에 회사 내부의 채용, 토큰 사용, 교육 프로그램까지 AI native 방식으로 재설계해 품질·속도·안전을 함께 추구한다.

실무 인사이트

• 의료 AI는 범용 모델을 얹는 방식보다, 실제 업무 단위와 실패 모드에 맞춰 데이터·지연 시간·검증 체계를 함께 설계해야 성능이 나온다.
• 99% 정확도는 환자 통화처럼 실패 비용이 큰 환경에서는 충분하지 않으므로, 인간 기준의 harm 평가와 상시 클리닉 검증이 필수다.
• 음성 인식의 핵심 문제는 종종 추론이 아니라 청취 오류이므로, 문맥 주입·후보 제한·재채점 같은 전처리와 검증이 임상 안전성의 중심이다.