What's Next After RLHF? — Diogo Almeida, TypeSafe AI

한 줄 핵심

RLHF로 대표되는 현재의 AI는 인간이 끼어 있는 보조에는 강하지만 진짜 자동화에는 약하며, 다음 단계는 인간 선호 최적화가 아니라 신뢰성·보정된 의사결정·실제 업무 자동화를 목표로 한 새 스택이라는 주장이다.

시간별 요약

1. 0:12
   현재 AI를 둘러싼 극단적 낙관론과 비관론을 함께 인정하되, 둘의 차이는 같은 기술을 무엇에 쓰느냐에서 나온다고 본다. 인간을 만족시키는 과제는 잘하지만, 책임과 비용이 걸린 자동화 과제는 여전히 약하다는 점이 핵심이다.
2. 4:00
   RLHF는 인간 선호를 최적화하도록 설계된 학습 방식이므로, 모델은 정답보다 그럴듯함과 만족감을 우선하기 쉽다. 그래서 사용자와 상호작용하는 보조 기능에는 강하지만, 사람 개입을 줄여야 하는 자동화에는 구조적으로 불리하다.
3. 8:01
   Claude code 같은 도구도 여전히 보조 시대의 연장선에 있으며, 진짜 전환점은 자동화가 아니라 인간 선호 최적화에서 벗어나는 것이다. 지금의 LLM 제품이 잘하는 것은 업무 대체가 아니라 보조이며, 그 결과는 '사람이 보기 좋은 답'과 '실제로 맞는 답'의 충돌로 나타난다.
4. 10:01
   SaaS는 LLM 시대에도 거의 변하지 않았고, 그 이유는 AI가 소프트웨어를 더 똑똑하게 만들기보다 더 빨리 쓰게 만드는 방향으로만 붙었기 때문이다. 진짜 변화는 소프트웨어의 표현력 자체를 넓혀 반복적 업무를 사실상 자동으로 돌릴 수 있게 만드는 쪽이어야 한다.
5. 13:01
   TypeSafe AI는 신뢰성과 자동화를 위해 AI 스택을 처음부터 다시 설계하는 길을 추구하며, 기존 RLHF나 RLVR와는 다른 최적화 목표를 둔다. 여기서 중요한 것은 알고리즘·데이터·과제 선택이 함께 바뀌어야 실제 업무에 쓸 수 있는 '스마트 소프트웨어'가 나온다는 점이다.

실무 인사이트

• 업무에 LLM을 붙일 때는 '사용자 만족'과 '자동화 정확도'를 분리해 설계해야 하며, 비용과 책임이 큰 의사결정은 사람 검증을 남기는 편이 안전하다.
• 챗봇을 추가하는 수준의 도입으로는 생산성 개선이 제한적이므로, 반복 업무 자체를 재정의해 사람이 보지 않아도 돌아가는 흐름을 만드는 것이 더 큰 효과를 낸다.
• 모델 성능 평가도 정답률뿐 아니라 보정(calibration)과 신뢰성 중심으로 봐야 하며, 그 기준이 달라져야 다음 세대 AI의 방향을 제대로 판단할 수 있다.