Build AI Systems for Discernment, Not Approval - Angel Ortmann Lee, Duolingo

한 줄 핵심

AI 시스템은 인간의 승인을 빨리 받게 만드는 방식이 아니라, 사람이 독립적으로 판단하고 구분해 내도록 인터랙션을 설계해야 품질·안전·학습 데이터가 함께 좋아진다.

시간별 요약

1. 0:00
   human-in-the-loop AI는 인간이 최종 결정을 내리는 구조처럼 보이지만, 실제로는 AI 출력이 인간의 사고를 대신할 위험이 크다. 신뢰가 높아질수록 경계는 낮아지고, AI 답을 거의 검토 없이 받아들이는 cognitive surrender가 쉽게 발생한다.
2. 4:02
   Duolingo English Test의 copy typing 탐지 실험에서는 정확도 높은 프로터들도 가짜 AI 신호의 절반을 그대로 수용해 automation bias가 드러났다. 모델과 사람의 문제가 아니라 인터페이스가 문제였고, 안내 문구를 '최종 결정은 인간'과 '독립 증거 확인'으로 바꾸자 거짓 수용이 크게 줄었다.
3. 9:00
   사람-모델 상호작용은 선형이 아니라 순환 구조이며, 인터페이스가 어떤 행동을 유도하느냐에 따라 라벨과 학습 데이터의 질이 달라진다. 구조화된 상호작용은 좋은 데이터를 낳고, 부실한 상호작용은 모델의 과신과 인간의 rubber stamp를 강화하는 악순환을 만든다.
4. 12:01
   좋은 설계는 하나의 질문에 섞인 여러 판단을 분리한다. 헤드폰 탐지처럼 '모델이 맞았는가'와 '위반으로 제재할 것인가'를 나누고, writing tutor나 coding agent처럼 과도한 일괄 응답 대신 맥락에 붙은 주석·계획·선택지를 제공해야 사람이 실제로 판단할 수 있다.
5. 19:02
   핵심 원칙은 인간을 검증자만이 아니라 조사자로 대우하고, 고위험 구간에는 마찰과 review gate를 넣으며, 모든 상호작용을 라벨로 수집하는 것이다. 성공 기준과 필요한 데이터를 처음부터 정의해 두면, 더 나은 모델보다 먼저 더 나은 상호작용을 설계할 수 있다.

실무 인사이트

• 승인 버튼을 최적화하기보다 독립 판단을 강제하는 문구, 구조화된 입력, 근거 요구를 넣으면 품질과 데이터가 동시에 좋아진다.
• yes/no 클릭만 모으지 말고 수정, 무시, 질문, 재작성 같은 차이를 기록해야 실제 실패 원인을 학습할 수 있다.
• 고위험 업무는 일부러 느리게, 저위험 대화형 업무는 최대한 마찰 없이 설계하는 식으로 스테이크에 맞춰 인터랙션을 나눠야 한다.