Voice AI Where One Wrong Question Breaks the Rules - Shiv Indap, Upstart & Brooke Hopkins, Coval

한 줄 핵심

규제가 강한 대출 업계의 Voice AI를 안전하게 운영하려면, 사람이 정의한 평가 기준과 LLM judge, 실시간 모니터링, 시뮬레이션을 결합한 지속적 평가·개선 루프가 필수다.

시간별 요약

1. 0:00
   소개 자율주행과 자율 음성 에이전트는 복잡한 경로와 외부 상황에 안정적으로 대응해야 한다는 점에서 비슷하며, 이를 위해서는 평가 인프라가 핵심이다. 다양한 기업의 voice agent가 고객지원과 물류 같은 업무에서 제대로 작동하도록 평가 체계를 구축하고 있다.
2. 1:02
   Upstart의 Voice AI Upstart의 voice AI는 대출을 다루는 고규제 환경에서 하루에도 수천 건의 통화를 처리한다. 작은 오류도 고객 경험을 넘어 규제 위반으로 이어질 수 있어, 무엇보다 규정 준수가 우선이다.
3. 2:11
   인증 통화 자동화 자동화한 업무는 심사에서 즉시 결정되지 않은 10%의 신청자를 대상으로 하는 인증 통화다. 소득 지속 여부, 자금 사용 목적, 미지급 의무를 묻되, 먼저 통화자가 실제 신청자인지 확인해야 한다.
4. 3:04
   규정 준수가 까다로워지는 지점 답변 내용에 따라 질문할 수 있는 항목과 없는 항목이 달라지며, 의료 목적처럼 특정 표현이 나오면 금지된 질문을 하면 안 된다. 또한 상태 안내나 지급 시점처럼 본래 범위를 벗어나는 요청은 정중하게 회피해야 하므로, 단순한 FAQ 자동화보다 훨씬 정교한 제어가 필요하다.
5. 4:14
   Google Sheet를 넘어서 처음에는 모든 통화를 사람이 검토하며 Google sheet로 기록했지만, 금세 열과 항목이 난립해 구조가 무너졌다. 품질 개선에 쓸 수 있는 데이터를 얻으려면 사람 검토를 더 체계적이고 일관된 방식으로 운영해야 했다.
6. 5:28
   지표와 LLM 판정자 통화 종료 후 LLM judge가 규정 준수 여부를 yes/no와 설명으로 평가하고, 사람 검토로 그 결과를 다시 검증한다. 초기에는 정확도·명료성·완성도 등 많은 지표를 추적했지만, 결국 핵심 성과와 직접 연결되는 지표만 남기고 나머지는 과감히 버려야 한다.
7. 7:03
   33%에서 92%로 높아진 판정 일치율 처음에는 인간 검토자와 LLM judge의 규정 위반 판정 일치율이 33%에 불과했지만, 전문가 피드백을 반영하며 92%까지 끌어올렸다. 암묵지로 남아 있던 규칙을 명시적으로 코드화하고, 인간 검토자 간의 불일치까지 줄이며 judge 자체도 개선한 것이 핵심이었다.
8. 8:52
   지속적 개선 루프 한 번 출시하고 끝내는 방식이 아니라, 통화 모니터링부터 지표 정의, 실패 호출 플래그 지정, 개선 반영까지 이어지는 완전한 개선 루프를 구축했다. 평가 자체가 제품 정의이며, 인간 검토는 이 과정에서 가장 중요한 축이다.
9. 10:04
   지표 정의하기 평가는 목표 달성 여부, 절차 준수 여부, 대화 품질이라는 세 범주로 나눌 수 있으며, 인간이 실제로 중요하게 여기는 기준을 먼저 라벨링해야 한다. 그 기준을 바탕으로 LLM judge, 휴리스틱, 오디오 처리 같은 자동 평가 지표를 설계해야 실제 운영과 맞물린다.
10. 10:51
    라이브 통화 모니터링 정의한 지표를 실시간 통화에 적용하면, 잘 알려진 실패 패턴과 예상 못한 이상 징후를 대규모로 탐지할 수 있다. 모든 통화를 보는 대신 문제가 있는 통화만 적절한 리뷰 큐로 보내고, 규정 이슈는 compliance 팀, 스크립트 오류는 agent 팀처럼 책임 조직에 연결해야 한다.
11. 12:31
    운영 전 다시 시뮬레이션하기 실제 실패를 바탕으로 수정안을 만든 뒤에는, 프로덕션에 다시 올리기 전에 시뮬레이션으로 효과를 검증해야 한다. 배경 소음, 억양, 음질, 끼어들기 같은 조건까지 재현해 문제 해결 여부를 확인하면 사용자에게 위험을 전가하지 않고도 개선할 수 있다.
12. 14:04
    자기 치유 에이전트 평가 데이터를 바탕으로 수정안을 제안하는 에이전트를 만들고, RL pipeline이나 fine-tuned LLM으로 성능을 자동 개선하는 방향까지 확장할 수 있다. 다만 이런 자동화도 인간 검토와 feature flag로 항상 통제되어야 하며, 평가의 정확도를 높이는 수단이기도 하다.
13. 15:11
    마무리: 인간은 여전히 루프 안에 있다 강력한 eval은 대량 통화를 모니터링하고, 어떤 통화를 사람이 봐야 하는지 결정하며, LLM judge와 에이전트 성능까지 함께 개선하게 만든다. 다만 self-healing이라도 인간이 완전히 빠지는 것이 아니라, 특히 규제가 있는 영역에서는 엔지니어와 compliance가 승인하는 체계가 필요하다.

실무 인사이트

• 규제 산업의 voice agent는 기능 구현보다 평가 체계 설계가 먼저이며, 인간 기준을 지표로 번역하는 과정이 제품 품질을 좌우한다.
• LLM judge의 성능은 단독으로 신뢰하기보다 인간 피드백으로 지속 교정해야 하며, 초기 불일치가 높아도 루프를 돌리면 운영 가능한 수준까지 끌어올릴 수 있다.
• 실패를 프로덕션에서 확인하기보다 시뮬레이션에서 먼저 재현·검증하는 구조가 있어야 안전하게 빠르게 개선할 수 있다.