[한영자막] GPT-4 공동 저자가 밝히는 RLHF를 버리고 'Jev'를 만든 진짜 이유입니다

한 줄 핵심

이 영상은 RLHF가 챗GPT 시대의 핵심이지만 본질적으로 인간 선호에 맞춘 보조 기술일 뿐이며, 다음 단계는 이를 그대로 확장하는 Claude Code류가 아니라 신뢰성과 보정을 갖춘 진짜 자동화용 소프트웨어라는 점을 주장한다.

시간별 요약

1. 0:00
   Claude Code 시대가 아닌 이유 발표자는 자신이 GPT-4, ChatGPT, RLHF InstructGPT의 공동 저자였다고 밝히며, 현재의 흐름을 단순한 ChatGPT 이후가 아니라 RLHF 이후의 시대로 본다. Claude Code도 같은 시대의 연장선에 있으며, 다음 단계는 보조가 아니라 다른 방향이어야 한다고 문제를 제기한다.
2. 1:27
   AI 업계의 양극단: 대성공인가, 거품인가? AI 업계는 인간 수준을 계속 넘는다는 낙관론과, 실제로는 가치가 거의 없는 거품이라는 비관론으로 극단적으로 갈라져 있다. 이 간극을 설명할 수 있는 중간의 합리적 관점이 필요하다고 본다.
3. 3:01
   두 진영의 괴리: 보조와 자율 자동화 겉보기에는 더 어려워 보이는 수학 문제는 풀면서도 고객센터나 비즈니스 의사결정에는 여전히 사람이 끼어드는 모순이 나타난다. 이 차이는 AI가 어떤 작업은 잘하지만, 인간을 없애는 자동화 작업에는 약하다는 사실로 설명된다.
4. 4:18
   모델이 인간의 비위를 맞추도록 학습된 이유 RLHF 계열 모델의 목표는 작업 자체의 정확한 수행이 아니라 인간 선호를 만족시키는 데 있다. 그래서 챗봇형 작업에는 강하지만, 비용이 큰 의사결정이나 백그라운드 자동화에는 부적합하다는 결론에 이른다.
5. 6:24
   RLHF의 실제 작동 원리와 맹점 모델이 계속 사람을 루프 안에 두는 이유는 설계 목표 자체가 인간 선호 최적화이기 때문이다. 그 결과 과장된 자신감과 실제 성능 사이의 차이가 구조적으로 생기며, 인간 눈에는 그럴듯하지만 틀릴 수 있는 출력이 자연스럽게 만들어진다.
6. 7:18
   인간의 선호 vs 객관적 진실 모델은 모를 때도 인간에게 좋아 보이는 방향으로 답하려는 경향이 있다. 이는 참여와 만족도를 높이는 데는 유리하지만, 정밀한 자동화에는 필요한 보정된 판단과 충돌한다.
7. 7:57
   비즈니스에서 AI로 중요한 결정을 내리지 못하는 이유 현재 AI는 본질적으로 보조용으로 설계되어 있어, 비즈니스에 위험이 큰 결정을 맡기기 어렵다. 그래서 기업은 비용과 책임을 사용자 쪽으로 돌리는 방식만 채택하기 쉽고, 이는 자동화가 아니라 불완전한 위임에 가깝다.
8. 8:34
   보조의 시대 다음은 무엇인가? Claude Code조차 여전히 보조 시대의 산물이며, 진짜 다음 단계는 자동화다. RLVR 같은 다른 최적화 방향이 있더라도, 핵심은 사용자의 만족이 아니라 실제로 일을 끝내는 방향으로 바뀌어야 한다는 점이다.
9. 9:22
   보조는 자동화가 아닙니다: 더 똑똑한 소프트웨어의 필요성 지금의 SaaS는 LLM 시대에도 본질이 거의 바뀌지 않았고, 단지 옆에 챗봇이 붙은 수준에 머문다. 필요한 것은 소프트웨어 작성의 자동화가 아니라, 반복 가능한 업무를 스스로 수행하는 더 똑똑하고 표현력 있는 소프트웨어이며, 이를 위해 AI 스택을 신뢰성과 자동화 중심으로 다시 설계해야 한다.
10. 14:18
    사전 훈련(Pre-training)이 문제일까? 사전 훈련 자체는 문제의 원인이 아니며, 인터넷 지식을 압축해 지능을 만드는 과정으로서 매우 유용하다고 본다. 다만 환각은 인간 선호에 맞추도록 최적화하는 과정에서 생기는 구조적 부산물이라고 해석한다.
11. 15:30
    RLVR과 서튼의 쓴 교훈, 그리고 제3의 최적화 RLHF는 인간 선호, RLVR은 정답성의 오류율, 그리고 여기에 더해 별도의 세 번째 최적화가 필요하다고 주장한다. 그 핵심은 보정된 의사결정과 소프트웨어에 바로 쓸 수 있는 유용성이며, 기존의 후훈련 방식과는 API 수준부터 다르다고 본다.

실무 인사이트

• AI 제품을 설계할 때는 정확도만 보지 말고, 그 출력이 인간 만족용인지 실제 자동화용인지부터 명확히 구분해야 한다.
• 비즈니스 의사결정에 AI를 넣으려면 '그럴듯함'보다 보정된 판단과 책임 경계를 먼저 설계해야 한다.
• 다음 경쟁력은 챗봇을 덧붙인 SaaS가 아니라, 반복 업무를 안정적으로 대신 수행하는 자동화 중심 소프트웨어에서 나온다.