Don’t be data poor — Anuj Iravane, Anterior

한 줄 핵심

의료처럼 PHI 때문에 실제 데이터를 오래 보관할 수 없는 환경에서는, 정책을 결정 트리로 구조화하고 LLM으로 역방향 합성 데이터를 생성해 평가·운영·개선까지 자급자족하는 파이프라인이 가장 현실적인 해법이다.

시간별 요약

0:00
고도로 비정형 데이터 위에서 정책 기반 의사결정 보험 사전승인, 지급 무결성, HEDIS 같은 고위험 의료 행정 업무를 AI로 자동화하며, 핵심 문제는 스캔된 팩스 묶음 같은 매우 비정형적인 데이터 위에서 정책에 따라 결정을 내리는 일이다.
1:05
의료 커뮤니케이션은 아직도 팩스로 온다 의료 데이터의 상당 부분은 여전히 팩스로 들어오며, 필기체·표·체크박스·이미지 등 형식이 뒤섞인 긴꼬리 사례가 많아 환자의 전체 임상 궤적을 매우 복잡하게 담고 있다.
2:11
95%로는 충분하지 않다 의료 환경은 정확도 기준이 매우 높아서 95% 수준으로는 부족하며, 그래서 실제 워크플로를 자동화하려면 데이터셋과 평가 체계를 훨씬 깊게 다뤄야 한다.
2:37
가장 필요한 데이터는 가장 보관할 수 없는 데이터다 PHI는 보관·재사용·파생 저장이 거의 금지되고, 익명화나 마스킹한 파생본조차 계약상 금지되는 경우가 많아 실제로는 지속 가능한 학습·평가용 데이터셋을 남기기 어렵다.
3:05
대신 생성하는 쪽에 베팅하다 해결책은 실제 데이터를 오래 쌓는 대신 합성 데이터를 직접 생성하는 것이며, LLM은 의료를 포함한 여러 영역에서 합성 데이터 생성 도구로 충분히 유망하다.
3:55
300쪽 기록을 한 번에 생성하면 실패한다 긴 의료기록을 한 번에 생성하면 다양성과 현실감이 무너지고 모드 붕괴가 생기기 쉬우며, 이는 학습 데이터 노출 부족과 현재의 사전학습·후학습 목표가 창의성과 다양성을 충분히 보상하지 않기 때문이다.
5:00
정방향 작업을 거꾸로 뒤집기 기존 방식은 비정형 데이터와 정책을 넣어 라벨을 얻는 정방향 흐름이지만, 먼저 라벨을 샘플링하고 그에 맞는 추론 경로를 만든 뒤 데이터를 역으로 생성하면 더 다양한 조건을 만들 수 있다.
5:51
정책을 샘플링 가능한 결정 트리로 보기 정책은 CPAP 승인 여부처럼 여러 조건 분기를 담은 결정 트리로 모델링할 수 있고, 이를 기호적으로 표현하면 특정 결과에 대한 추론 경로를 결정적으로 다양하게 샘플링할 수 있다.
7:19
실데이터에 없던 경계 사례를 시험하기 샘플링 기반 생성은 고객 데이터 200개로 95%를 맞춰도 드러나지 않는 희귀 경계 사례를 더 넓게 시험하게 해주며, 분포 밖 사례까지 포함한 평가를 가능하게 한다.
8:09
거칠게부터 세밀하게 의료기록 만들기 환자 불변값에서 시작해 환자 여정과 각 진료 접점을 만들고, 그다음 문서 계획과 실제 문서를 순차적으로 채우는 coarse-to-fine 방식이 긴 환자 여정과 대규모 생성에 더 적합하다.
9:54
정제 루프와 왕복 검증 생성된 문서들 사이의 일관성을 LLM으로 점검하고, 원래의 라벨과 생성 결과를 대조하는 round trip check를 통해 모순을 줄이며 정답 라벨을 구성상 확보할 수 있다.
11:09
왜 PDF로 끝내지 않는가 생성은 전부 텍스트와 마크다운 영역에서 처리하는 편이 더 실용적이며, 복잡한 PDF는 이미 좋은 파서로 충분히 마크다운화할 수 있으므로 굳이 렌더링 단계에 머물 이유가 없다.
11:34
스킬을 통해 임상의에게 열쇠를 넘기기 도메인 전문가는 데이터 품질의 판단 기준을 가장 잘 알고 있으므로, 임상의가 중간에 개입해 생성 방향을 바꾸고 스킬 파일로 새 문서 유형을 추가할 수 있게 하면 데이터 파이프라인을 사실상 임상의가 소유하게 된다.
14:12
결과와 적시 생성 데이터셋 합성 데이터는 이미 데이터셋의 큰 비중을 차지하고 생산 정확도 유지에 기여하며, 고객 배포 직전에 필요한 케이스를 직접 만들어 테스트할 수 있어 PHI에 의존하지 않는 적시 데이터셋 운영이 가능해진다.

실무 인사이트

의료처럼 데이터 보관 제약이 큰 도메인에서는 실제 데이터 축적보다, 정책·업무흐름을 기호적으로 모델링해 합성 데이터 생성과 평가를 함께 설계하는 편이 더 지속 가능하다.
희귀 경계 사례를 확보하려면 생산 데이터 분포를 따라가면 안 되고, 의도적으로 분포를 샘플링하거나 역방향으로 생성해 평가 커버리지를 넓혀야 한다.
도메인 전문가가 스킬 단위로 파이프라인을 직접 조정할 수 있게 해야, 엔지니어링 변경 없이도 품질 개선과 실패 사례 재현이 반복 가능해진다.