[한영자막] Jev로 더 빠르고 스마트한 에이전트 하네스를 구축하는 방법입니다

한 줄 핵심

Jev는 일반 LLM을 대체하는 범용 모델이 아니라, 분류·판단·라우팅·평가처럼 구조화된 결정을 매우 빠르고 저렴하게 처리하는 에이전트 하네스용 특화 모델이다.

시간별 요약

1. 0:00
   Jev 모델을 활용한 에이전트 하네스 구축 LangChain과 Type Safe AI의 새 모델 Jev를 활용해 에이전트 하네스를 더 빠르고 실용적으로 구성하는 방법을 소개한다. 핵심 관심사는 LLM을 그대로 쓰는 방식이 아니라, 코드 중심 애플리케이션에서 필요한 구조화된 판단을 더 효율적으로 넣는 것이다.
2. 0:12
   기존의 핵심 에이전트 루프 복습 에이전트는 요청을 받으면 LLM이 도구를 호출하고 결과를 반영한 뒤, 다시 도구를 쓰거나 작업 종료를 결정하는 반복 루프로 동작한다. 다만 LLM은 텍스트 입력과 텍스트 출력만으로는 예측 가능성이 낮기 때문에, 코드 기반 시스템에 맞는 구조가 필요하다.
3. 1:02
   도구 호출과 구조화된 출력이 필요한 이유 tool calling은 모델이 구조화된 요청을 보내고 도구가 구조화된 결과를 돌려주는 방식이며, structured outputs는 최종 응답을 JSON schema 같은 형식으로 강제한다. 이 두 가지가 결합되면서 에이전트 루프를 코드에서 안정적으로 다루기 쉬워진다.
4. 1:38
   Jev의 정체 Jev는 텍스트를 생성하는 전통적 LLM이 아니라, 상태와 질문을 입력받아 typed answers와 probabilities를 반환하는 system one 모델이다. 분류·스코어링·이진 판단 같은 작업에서 20 to 200 times faster, 40 to 400 times cheaper하며, 모델 라우팅, 위험한 tool call 차단, 온라인 eval judge 같은 용도에서 특히 유용하다.

실무 인사이트

• 에이전트에서 모든 판단을 LLM 하나로 처리하기보다, 분류·위험 감지·평가처럼 정형화 가능한 단계는 Jev 같은 특화 모델로 분리하면 속도와 비용을 크게 줄일 수 있다.
• 실무에서는 model routing과 auto mode처럼 ‘무엇을 어떤 모델에 맡길지’ 결정하는 계층을 따로 두는 것이 성능과 안전성을 동시에 높인다.
• 온라인 eval에서는 사람이 매번 판정하지 않아도 되도록, 루브릭 기반 채점기를 빠르고 일관적인 judge로 두는 구조가 운영 효율을 높인다.