Laya 진짜 추천합니다. Jev를 오픈소스로 쓰는법

한 줄 핵심

오픈소스 모델 Laya를 로컬에서 직접 학습해 고객지원 문의 라우팅 정확도를 크게 끌어올릴 수 있으며, 특정 업무에선 제너럴 모델보다 더 실용적인 선택이 될 수 있음을 보여주는 영상이다.

시간별 요약

1. 0:00
   인트로 M4 Pro 맥북 24GB RAM 환경에서도 Laya를 직접 학습시켜 한국어 고객지원 CS 시험 정답률을 33%대에서 86%대까지 끌어올렸고, 1,000건 학습에 48분이 걸렸다. 로컬에서 호스팅하며 업무 맞춤형 분류 모델을 만들 수 있다는 점에서 Jev 대안으로서의 가능성을 소개한다.
2. 0:55
   라우팅이 필요한 이유 모든 요청을 가장 강한 모델로 보내면 비용과 지연이 커지고, 반대로 저렴한 모델만 쓰면 복잡한 문의 품질이 떨어진다. 따라서 요청을 간단 처리, 강력한 모델 처리, 사람 확인, 무응답 등으로 먼저 나누는 라우팅이 필요하며, CS처럼 문의 유형이 다양하고 양이 많은 업무에서 특히 효과적이다.
3. 4:16
   학습 전 정답률 학습 전 Laya의 분류 정답률은 250개 중 82개인 32.8%에 그쳐 바로 쓰기엔 부족한 수준이었다. 쇼핑몰 한국어 문의와 정답 라벨을 만든 뒤, 학습용 데이터와 별도로 250개 테스트셋을 분리해 100건, 300건, 1,000건 학습 결과를 비교할 기준을 마련했다.
4. 5:15
   100·300·1,000건 학습 결과 100건 학습만으로 4분 만에 정답률이 68.8%로 뛰었고, 300건에서는 83.2%, 1,000건에서는 48분 만에 86.4%까지 올라갔다. 같은 테스트셋을 유지한 채 데이터 양만 늘렸을 때 성능이 꾸준히 개선되었지만, 300건 이후에는 상승 폭이 줄어드는 경향도 확인됐다.
5. 6:42
   Jev 결과 같은 문제를 Jev에 넣었을 때는 250개를 모두 맞혀 100% 정답률을 기록했다. Laya는 1,000건 학습 후에도 216개 정답에 머물렀지만, 특정 업무 영역에 한정하면 충분히 높은 정확도까지 끌어올릴 수 있다는 가능성은 확인됐다.
6. 7:25
   1만 건 학습 Laya를 1만 건까지 학습시키자 같은 맥북에서 7시간 52분이 걸렸고, 600개 검증 문제에서 정답률이 99.7%로 상승해 598개를 맞혔다. 제너럴 모델인 Jev와 완전히 같은 용도는 아니지만, 특정 도메인에서는 거의 비슷한 수준까지 접근할 수 있음을 보여준다.
7. 8:51
   틀린 문의와 재학습 오답 사례를 보면 '머그컵 반품'처럼 이미 접수된 반품 문의를 배송으로 잘못 분류하거나, 구매 전 색상 비교 문의를 교환·반품으로 보내는 식의 혼동이 있었다. 이런 케이스를 함께 묶어 재학습하면 경계가 애매한 문의를 더 잘 구분하도록 개선할 수 있다.
8. 10:12
   로컬 실행과 응답 시간 Jev API의 중앙값 응답 시간은 0.5초였고, 로컬에서 학습한 Laya는 한 건 분류에 0.11초가 걸려 더 빠르게 동작했다. 외부 서버를 거치지 않고 내부에서 분류할 수 있어 지연을 줄이고, 외부로 보내기 어려운 민감한 자료도 다루기 쉽다.
9. 11:35
   결론 Jev가 여전히 더 일반적으로 정확하지만, 업무에 꼭 맞는 라우터가 필요하다면 Laya를 직접 학습시키는 선택지가 매우 유효하다. 특별한 GPU 없이도 M4 Pro 맥북에서 학습과 실행이 가능했고, 짧은 시간 안에 실무 수준의 분류 성능을 만들 수 있다는 점이 핵심 결론이다.

실무 인사이트

• 고객지원 라우팅처럼 정답 기준이 명확한 업무는 오픈소스 모델을 소규모 데이터로도 빠르게 맞춤화할 수 있어, 비용 절감과 품질 향상을 동시에 노릴 수 있다.
• 학습 데이터는 양보다도 애매한 경계 사례를 얼마나 잘 포함하느냐가 중요하며, 오답 샘플을 재학습에 반영하는 구조가 성능 개선에 효과적이다.
• 라우팅 단계는 후속 답변 생성보다 앞서 동작하므로, 정확도만큼이나 로컬 실행 속도와 보안성도 모델 선택의 핵심 기준이 된다.