Evals-Driven Development for a Mental Health AI Coach — Akele Reed & Dave Revere, SonderMind

한 줄 핵심

정신건강 AI 코치는 일반 LLM의 과도한 차단을 피하면서도 임상적으로 위험한 상황을 정확히 잡아내기 위해, 분리된 가드레일과 임상가 주도의 eval 루프를 CI에 넣어 안전성을 검증해야 한다는 내용이다.

시간별 요약

1. 0:01
   SonderMind는 인간 치료사·정신과의사와 연결되는 정신건강 서비스 위에, 치료 전·사이 기간의 지원을 위한 Sonder라는 임상적으로 설계된 AI 코치를 구축했다. 이 제품은 24/7 대화·음성 지원, 목표 추적, grounding exercise 제공과 함께 필요 시 인간 네트워크로 연결되는 진입점 역할을 한다.
2. 3:00
   핵심 아키텍처는 입력 가드레일과 출력 가드레일을 분리해 감싸는 구조이며, 각 가드레일은 별도 LLM judge로 동작한다. 이렇게 모듈화하면 안전성 평가가 쉬워지고 우회가 어려워지지만, 지연과 비용은 증가하므로 정신건강처럼 민감한 영역에서는 그 비용을 감수할 가치가 있다.
3. 6:02
   가드레일은 더 많이 발동하는 것이 아니라 더 정확하게 발동해야 하며, 현재 위기 상황에서는 즉시 자원을 제시하고 대화를 중단해야 하지만 과거 사건을 회상하는 경우에는 자원을 제시한 뒤 대화를 이어갈 수 있다. 이런 미묘한 판단을 위해서는 임의의 키워드 규칙이나 범용 moderation API보다 임상가가 실제 문맥을 보고 판단한 기준이 필요하다.
4. 10:00
   위험 사례는 대화 트레이스로 저장되고, 임상가의 주석이 typed eval로 변환되어 각 프롬프트·모델·가드레일 변경이 같은 기준으로 재평가된다. 이 평가는 CI에서 릴리스를 게이트하며, false positive와 false negative, 카테고리, 발동 시점까지 함께 본다.
5. 16:01
   SonderMind는 200개의 input guardrail 시나리오와 100개의 output guardrail 시나리오를 공개해 다른 팀도 임상적으로 검증된 기준선을 활용할 수 있게 했다. 다만 공개 데이터셋은 자체 학습 루프를 대체하는 것이 아니라, 민감한 영역에서 더 엄격한 안전 시스템을 빠르게 구축하도록 돕는 출발점이다.

실무 인사이트

• 정신건강처럼 오탐과 미탐의 비용이 모두 큰 영역에서는 ‘더 많이 막는 것’보다 ‘정확히 막는 것’을 목표로 가드레일 기준을 임상가와 함께 재정의해야 한다.
• 가드레일 품질은 프롬프트 수정보다 eval 루프의 품질에 더 크게 좌우되므로, 실제 대화 트레이스를 주석화해 CI에 넣는 구조가 재현성과 안전성을 동시에 높인다.
• 분리된 input/output 가드레일과 공동의 데이터셋 기준선을 갖추면, 민감한 AI 제품에서도 변경 영향도를 체계적으로 관리할 수 있다.