Inside 847 Production Clinical AI Notes — Sebastian Fox, Composo

한 줄 핵심

생성형 의료 메모의 가장 위험한 실패는 눈에 띄는 오류가 아니라 중요한 정보의 누락이며, 이를 잡으려면 고정된 루브릭보다 실제 출력에서 실패 유형을 발견·수집·보정하는 지속적 평가 루프가 필요하다.

시간별 요약

1. 0:00
   겉보기에는 완벽해 보이는 메모 AI가 작성한 진료 메모는 평범한 두통 기록처럼 보이지만, 턱 통증 같은 핵심 증상이 빠지면 거대세포동맥염 같은 응급 상황을 놓칠 수 있다. 겉으로는 틀리지 않아 보여도 실제로는 가장 위험한 정보가 사라져 있을 수 있다.
2. 1:29
   명백한 오류와 그 빈도 현실의 생성 메모에는 가슴 통증, 당뇨 약, 존재하지 않는 병원 주소처럼 황당한 오류도 있지만, 더 큰 문제는 조용히 기록에 남는 누락이다. 대규모 실사용 연구에서도 심각한 오류가 20건 중 1건꼴로 나타났고, 중요한 누락과 환각도 적지 않으며, 이런 문제는 의료 현장에서 거의 추적되지 않는다.
3. 4:02
   세 개의 운영 중인 필기 시스템에서 실패를 분류하기 세 개의 상용 Ambient scribe에서 찾은 오류를 영향도와 자동 검출 가능성으로 나누면, 실제로 위험한 오류는 검사망 아래쪽에 많이 쌓인다. 특히 환자가 말하지 않은 것을 사실처럼 넣거나, 합의된 계획을 반대로 적는 식의 오류는 문장만 보면 자연스러워 보여서 더 잘 걸러지지 않는다.
4. 5:30
   잘못 들음, 추가, 변경, 누락 오류는 음성 인식 단계에서의 오청도 있지만, 더 많은 문제는 전사가 맞더라도 생성 단계에서 생긴다. 모델은 없는 내용을 추가하거나, 말한 뜻을 바꾸거나, 있어야 할 정보를 빼는데, 가장 어려운 것은 그 변화가 실제로 중요한지 판단하는 일이다.
5. 7:03
   중요한 것이 무엇인지 아는 문제 무엇이 중요한지는 암묵적이고, 상황에 따라 달라지며, 기준도 계속 변한다. 같은 누락이라도 어떤 문맥에서는 치명적이고 다른 문맥에서는 사소하므로, 모델이 사실을 아는 것만으로는 충분하지 않고 이 사건에서 무엇을 중요하게 봐야 하는지 아는 판단력이 필요하다.
6. 7:56
   생성기 뒤에 검사기를 붙이기 생성은 싸고 검증은 더 쉬워 보여서, 먼저 쓰게 한 뒤 별도의 검사를 통과한 것만 남기는 구조가 자연스럽다. 다만 실제로는 인간 전문가의 검토를 자동화한 검사기도 쉽게 놓치며, 평가를 잘해도 오류가 계속 통과하는 이유는 검사기가 기준 자체를 충분히 모르기 때문이다.
7. 9:35
   최고 수준의 판단기도 다섯 분의 한은 통과시켰다 강력한 모델과 정교한 루브릭으로 만든 판정기도 실제 오류의 상당수를 걸러내지 못했고, 특히 누락형 오류를 많이 놓쳤다. 이는 판정기가 문장과 사실의 차이는 볼 수 있어도, 그 차이 중 무엇이 임상적으로 중요한지는 스스로 알지 못하기 때문이다.
8. 12:06
   France와 Lake Malawi 혈뇨 환자에서 프랑스 방문은 무의미한 누락이지만, Lake Malawi 방문은 주혈흡충증을 강하게 시사하는 핵심 단서다. 똑같이 여행지가 빠진 메모라도 어떤 경우에는 잡음이고, 어떤 경우에는 정답이 되므로 사전에 모든 중요도를 규칙으로 적어둘 수 없다.
9. 13:49
   발견, 수집, 보정 해결책은 실제 출력에서 실패 유형을 발견하고, 전문가의 판단과 수정 이유를 수집하고, 각 출력에 맞춰 그 기준으로 다시 보정하는 반복 루프다. 고정 루브릭이나 재학습된 가중치보다, 사례별로 관련 예시·수정·가이드를 불러와 평가하는 방식이 더 유연하고 설명 가능하다.
10. 17:13
    같은 메모를 본 세 명의 판정자 단순한 루브릭 기반 판정, 더 정교한 자동 평가, 발견·수집·보정 루프를 적용한 판정을 같은 메모에 비교하면, 마지막 방식이 가장 잘 맞는다. 차이를 만드는 것은 더 많은 연산이 아니라, 판정 기준을 고정하지 않고 실제 실패 양식에 맞게 계속 업데이트하는 구조다.
11. 18:06
    의료를 넘어 계약 검토나 고객지원처럼 틀리면 비용이 큰 영역도 같은 문제를 겪으며, 정답보다 중요한 것은 무엇이 중요한지 아는 평가 체계다. 실무의 출발점은 전문가가 실제 출력에 자유롭게 코멘트를 남기게 하고, 그 판단을 모아 기준을 계속 진화시키는 일이다.

실무 인사이트

• 중요한 오류를 잡으려면 정답-오답 판정보다 누락·변형 중 무엇이 사업/임상적으로 치명적인지 먼저 정의하고, 그 기준을 실제 사례로 계속 갱신해야 한다.
• 자동 평가 시스템은 고정 루브릭만으로 끝내지 말고, 전문가의 자유서술 코멘트와 과거 판정 사례를 검색해 출력마다 컨텍스트를 조립하는 방식으로 설계하는 것이 효과적이다.
• 의료뿐 아니라 계약, 지원, 규제 문서처럼 고위험 문서 생성에서는 생성 품질보다 평가 루프의 성숙도가 안전성과 성과를 좌우한다.