ChatGPT 멤버가 만든 193배 빠르다는 AI - Jev 완전 분석 그리고 인사이트

한 줄 핵심

JeV는 기존 LLM의 대체재라기보다, 사람이 보지 않는 중간 판단층을 빠르고 싸게 자동화하는 구조적 대안이며, 핵심 차별점은 정확도보다 캘리브레이션에 있다.

시간별 요약

0:00
193배 빠르고 444배 싸다 제브는 기존 모델보다 압도적으로 빠르고 저렴하다는 수치로 주목받지만, 그 숫자가 자체 벤치마크에서 나온 점 때문에 과장인지 혁신인지부터 따져봐야 한다. 다만 완전히 허풍만은 아니며, 어떤 부분은 새롭고 어떤 부분은 이미 알려진 방식이다.
0:38
누가 만들었나 — ChatGPT 공동 개발자 Diogo Almeida 만든 사람은 OpenAI에서 GPT-4와 ChatGPT 관련 작업을 했던 Diogo Almeida로, 내부를 잘 아는 인물이자 동시에 기존 접근을 공개적으로 비판하는 드문 사례다. 모델명 Jev는 제번스 역설에서 왔으며, 값이 싸질수록 사용량이 폭증할 지능을 겨냥한 이름이다.
1:41
무엇이 다른가 — 말하는 기계 vs 고르는 기계 기존 LM이 토큰을 하나씩 생성하는 말하는 기계라면, 제브는 선택지 중 하나를 고르는 기계에 가깝다. 선택·점수·예/아니오 같은 제한된 출력만 다루므로 응답이 매우 빠르고 출력 토큰 비용도 거의 들지 않는다.
2:35
의심 하나 — GPT에게 예/아니오 시키면 되는 것 아닌가 기존 GPT나 Claude에 예/아니오만 시켜도 비슷해 보이지만, 실제로는 같은 모델을 그대로 돌리는 한 비용 구조가 달라지지 않는다. 형식 보장도 이미 API 수준에서 가능한 기능이라 차별점이 약하고, 핵심은 확률이 얼마나 정직하냐는 점으로 이동한다.
3:42
RLHF, 그리고 왜 LLM은 자신만만한가 RLHF는 사람이 좋아할 답을 강화하는 과정이라, 모델이 불확실할 때도 단정적으로 말하는 경향을 만든다. 즉 많은 LLM은 정답 가능성보다 인간이 선호할 자신감을 학습해 왔고, 그래서 확률 출력이 실제 정확도와 어긋나기 쉽다.
5:54
캘리브레이션, 이게 진짜 차별점 제브의 핵심은 답과 함께 그 답의 확률을 내고, 그 확률이 실제 적중률과 맞도록 훈련됐다는 주장이다. 정확도와 캘리브레이션은 다르며, 실무에서는 95% 이상만 자동 처리하고 나머지는 사람이나 큰 모델로 넘기는 식의 의사결정 구조를 만들 수 있다.
8:18
진짜 경쟁자는 따로 있다 — 작은 분류 모델 제브의 진짜 비교 대상은 GPT에 예/아니오를 시키는 방식이 아니라, 처음부터 작은 분류 모델을 파인튜닝해 쓰는 방법이다. 제브는 데이터 수집과 학습 부담 없이 API처럼 쓰면서도 작은 분류기 수준의 비용 구조를 노리는 중간 포지션에 있다.
8:59
유보할 지점들 — 자체 벤치마크, 보조금 의혹, 사흘 만에 나온 복제본 Kev 자체 벤치마크, 상단에 가까운 193배 수치, 보조금 가능성, 독립 검증 부족 등은 모두 신뢰를 낮추는 요소다. 게다가 사흘 만에 나온 Kev처럼 비슷한 API 형태의 복제본이 등장해, 인터페이스 자체는 쉽게 모방될 수 있음이 드러났다.
10:53
사람이 보는 일, 사람이 안 보는 일 — 3층 구조 AI 작업은 사람과 상호작용하는 어시스턴스 층, 즉시 반응하는 저수준 층, 그리고 아무도 보지 않는 중간 판단층의 3층 구조로 볼 수 있다. 제브가 겨냥하는 곳은 바로 이 중간층이며, 확신도가 정직해야 위로 넘길지 아래로 실행할지를 자동으로 가를 수 있다.
14:25
이 층이 자라면 — 스타크래프트 데모와 게임 밖으로 나가는 모델 스타크래프트 데모처럼 제브는 게임 상태를 받아 선택을 고르고 하네스가 실제 입력을 수행하는 방식으로 작동했지만, 실시간 반응은 아직 제한적이었다. 의미 있는 지점은 게임 자체의 승패가 아니라, 여러 작업에서 공통으로 쓸 수 있는 판단 계층이 생길 가능성이다.
16:42
마무리 — 모델이 아니라 구조로 보면 제브는 모델 자체가 완전히 새로운 것도 아니고 검증도 아직 불충분하지만, 사람이 보지 않는 판단을 자동화하는 구조로 보면 중요한 신호다. 앞으로 중요한 질문은 어떤 모델이 더 똑똑한가가 아니라, 내 시스템에 인간이 굳이 볼 필요 없는 판단이 얼마나 있는가다.

실무 인사이트

서비스에서 예/아니오, 분류, 임계값 판단처럼 사람이 직접 검토하던 호출을 먼저 찾아내면 제브류 모델을 넣을 자리가 보인다.
정확도보다 캘리브레이션을 기준으로 자동화 단계를 나누면, 95% 이상 자동 처리와 나머지 에스컬레이션 같은 운영 규칙을 설계하기 쉬워진다.
자체 벤치마크와 보조금 가능성은 성능 주장보다 운영 전환 효과를 먼저 검증해야 한다는 신호다.