[한영자막] AI는 왜 틀릴 때도 당당할까요? '불확실성'의 수학

한 줄 핵심

AI가 더 신뢰할 수 있으려면 정답만 잘 맞히는 것보다 자기 불확실성을 계산·표현하고, 그에 따라 더 안전하고 일관된 결정을 내리는 능력이 핵심이다.

시간별 요약

1. 0:00
   오프닝 현재의 AI는 틀릴 때도 매우 단정적으로 답하는 경향이 있으며, 이를 보완하려면 불확실성을 다루는 수학과 구조가 필요하다. 단순한 규모 확대만으로는 부족하고, 자기 한계를 아는 지능이 다음 단계의 핵심 과제로 제시된다.
2. 1:06
   AI에게 불확실성이 필요한 이유 지능은 결정을 내리는 능력이고, 현실 세계의 감각과 정보는 본질적으로 불완전하므로 불확실성을 표현·갱신·활용할 수 있어야 한다. 특히 자율주행차처럼 낯선 상황을 만나는 시스템은 자신이 모른다는 사실을 알아야 더 안전하게 행동할 수 있다.
3. 7:45
   정확도와 확신도의 차이 정답을 맞히는 것과 얼마나 확신하는지는 같은 문제가 아니며, adversarial example은 고확신 오답이 얼마나 위험한지 보여준다. large language model도 대체로 자신감 있게 답하지만, 실제로는 명시적 확신도 계산보다 다음 토큰 예측을 수행하는 경우가 많아 신뢰성 문제가 남는다.
4. 9:40
   신경망과 AI 연구의 역사적 배경 1980년대에는 규칙 기반 expert systems가 주류였지만, neural network는 데이터로부터 학습하는 유연성 때문에 큰 전환점을 만들었다. 이후 신경망과 확률·통계의 연결이 드러나면서 연구의 중심이 불확실성과 probabilistic model로 확장되었고, 오늘날의 LLM도 본질적으로 확률 모델이라는 점이 강조된다.
5. 16:10
   AI 분야의 Bayesian 사고방식 Bayes rule은 prior belief에 evidence를 반영해 posterior belief로 갱신하는 과정이며, 정보는 불확실성을 줄이는 양으로 이해된다. 이 관점은 인간의 지각과 학습을 설명하는 데도 유용하고, AI가 누적적으로 지식을 갱신하며 더 합리적으로 행동하도록 만드는 이론적 토대가 된다.
6. 26:30
   현실 세계의 불확실성 기상 예측은 ensemble forecast와 probability distribution을 통해 미래 경로의 불확실성을 직접 다루며, 관측이 추가될 때마다 예측을 갱신한다. AlphaFold와 의료 AI 역시 결과 자체보다 결과의 신뢰도를 함께 보여줘야 하며, 특히 생명과 직결되는 분야에서는 과도한 확신보다 보정된 불확실성 표현이 중요하다.
7. 36:42
   AGI와 미래 AI 연구의 핵심 과제 미래 AI의 핵심 과제는 continual learning, energy efficiency, 새로운 architecture처럼 현재의 한계를 넘는 방향에 있다. Bayesian updating은 이론적으로 catastrophic forgetting을 줄이고 데이터 효율성을 높일 가능성이 있지만, 계산적으로 어렵기 때문에 더 나은 근사와 하드웨어·소프트웨어의 공동 진화가 필요하다.

실무 인사이트

• 고위험 서비스에서는 정답률보다 calibrated confidence를 우선 지표로 두고, 답변과 함께 불확실성 표시를 제품 설계에 포함하는 것이 효과적이다.
• LLM을 신뢰성 있게 쓰려면 단순 프롬프트 개선보다, 검색·검증·재질문 흐름을 붙여 과도한 확신을 억제하는 운영 설계가 필요하다.
• 장기적으로는 continual learning과 불확실성 추정을 함께 다루는 구조가 자율주행, 의료, 예측 시스템의 품질 차이를 만든다.