What Makes Open Models Fast in Production — Sujee Maniyam, Nebius

한 줄 핵심

오픈 모델을 생산 환경에서 빠르고 싸고 안정적으로 쓰려면 추론 인프라 최적화, 데이터-재학습-배포의 순환, 그리고 하드웨어부터 서빙 엔진까지의 세밀한 튜닝이 핵심이다.

시간별 요약

1. 0:00
   소개 영상은 오픈 LLM을 생산 환경에서 엔지니어링하는 방법을 다루며, 추론 인프라와 모델 최적화, 서빙 최적화까지 짧게 훑는 흐름으로 진행된다.
2. 0:12
   생산 환경을 위한 오픈 LLM 엔지니어링 생산 환경에서의 오픈 LLM 운영은 단순한 API 호출이 아니라 인프라, 최적화, 배포까지 포함하는 문제이며, 이 영상은 그 전체 스택을 다룬다.
3. 0:52
   Nebius는 누구인가 Nebius는 모델 API만 제공하는 회사가 아니라 데이터센터와 베어메탈, 관리형 클라우드, 서빙 최적화까지 직접 운영하는 풀스택 AI 클라우드 인프라다.
4. 2:27
   Nebius Token Factory Nebius Token Factory는 고객의 모델을 배포하고 성능을 최적화하는 관리형 추론 서비스로, 제품 개발보다 먼저 복잡한 인프라 부담을 줄이는 데 초점을 둔다.
5. 2:42
   폐쇄형 API와 셀프 호스팅 비교 폐쇄형 API는 시작이 쉽지만 제어와 최적화에 한계가 있고, 셀프 호스팅은 통제력이 높지만 운영 부담이 크다. Token Factory는 두 방식의 장점을 결합해 성능, 비용, 동작을 함께 다루는 तीस번째 선택지를 제시한다.
6. 4:06
   추론, 데이터, 후속 학습, 배포의 전체 순환 추론으로 시작해 로그를 수집하고, 이를 데이터화해 후속 학습과 증류에 활용한 뒤, 다시 배포로 연결하는 하나의 순환 구조를 만든다. 이 흐름이 있어야 모델을 ‘운영’하는 수준을 넘어 실제 AI 시스템을 만들 수 있다.
7. 6:21
   우리가 대신 처리하는 것 성능 최적화, 하드웨어 운영, 보안·컴플라이언스·신뢰성 같은 엔터프라이즈 요구사항을 플랫폼이 대신 맡아준다. 사용자는 복잡한 하위 계층을 신경 쓰지 않고 모델과 제품에 집중할 수 있다.
8. 8:06
   모델을 돌리는 것에서 더 나아가 개선하기 모델을 켜는 것으로 끝나지 않고, 실제 동작을 관측해 개선하고 안전하게 재배포하는 과정이 중요하다. 이 반복이 있어야 데모가 아니라 지속적으로 좋아지는 제품이 된다.
9. 10:01
   오픈 모델을 생산 환경에 확장하기 좋은 추론은 좋은 모델만으로 완성되지 않으며, 그 뒤에 받쳐주는 인프라가 필요하다. Nebius Token Factory는 그 기반이 되는 서빙 환경을 제공한다.
10. 10:26
    오픈 모델은 얼마나 좋은가 오픈 모델은 이제 많은 폐쇄형 모델과 경쟁 가능한 수준이며, 경우에 따라 더 나은 성능도 보인다. 따라서 고객은 성능 저하 없이 선택권과 비용 절감, 벤더 종속 회피를 얻을 수 있다.
11. 11:26
    Teacher와 Student 모델 큰 모델은 높은 능력을 가진 teacher 모델로, 작은 모델은 이를 학습받는 student 모델로 활용된다. 대형 모델과 소형 모델을 함께 운영하는 구조가 성능과 효율의 균형을 만든다.
12. 11:46
    하드웨어 계층: NVFP4 Nvidia와의 긴밀한 협업을 바탕으로 최신 칩셋과 커널, 런타임 최적화를 적용한다. NVFP4 같은 하드웨어 친화적 정밀도와 실행 최적화가 성능을 끌어올린다.
13. 12:26
    서빙 엔진 선택하기 모든 모델이 모든 엔진에서 똑같이 잘 돌지는 않기 때문에, 모델별로 가장 잘 맞는 오픈소스 엔진을 골라 배치한다. 사용자는 엔진이나 GPU 조합을 몰라도 API만 쓰면 된다.
14. 12:55
    캐시를 인식하는 라우팅 무작위 로드밸런싱은 LLM 워크로드에 비효율적이므로, 캐시 위치를 인식해 요청을 보내는 라우팅이 필요하다. 캐시가 잘 모이도록 트래픽을 배분하면 속도와 효율이 크게 좋아진다.
15. 14:24
    추측 디코딩 작은 모델이 먼저 토큰을 생성하고 큰 모델이 이를 검증하는 방식으로, 전체 생성 속도를 높인다. 대부분의 경우 큰 모델만 쓰는 것보다 훨씬 빠르고 저렴하게 동작한다.
16. 15:29
    맞춤형 드래프트 모델 학습 일반 데이터보다 고객의 실제 데이터로 작은 드래프트 모델을 학습하면 성능 향상이 더 크다. 생산 로그를 활용해 드래프트 모델을 쉽게 학습하는 기능이 곧 제공된다.
17. 15:59
    KV 캐시와 오프로딩 이미 생성한 토큰을 다시 계산하지 않도록 KV 캐시를 사용해 속도를 크게 높인다. GPU 메모리가 귀중하므로 캐시를 자동으로 일반 메모리로 내렸다가 다시 올리는 오프로딩도 함께 처리한다.
18. 17:33
    분리된 Prefill과 Decode Prefill과 decode는 자원 요구가 서로 다르므로 같은 GPU에서 함께 처리하면 경쟁이 생긴다. 두 단계를 분리해 각각에 맞는 GPU 자원을 쓰고 KV 캐시를 전달하면 효율이 좋아진다.
19. 18:13
    양자화의 최적 지점 찾기 정밀도를 낮추면 효율은 좋아지지만 품질이 지나치게 떨어질 수 있다. 그래서 성능 저하를 최소화하면서 효율이 가장 좋은 양자화 지점을 실험으로 찾는다.
20. 18:43
    정리 캐시 인식 라우팅, 추측 디코딩, KV 캐시 오프로딩, prefill/decode 분리, 양자화 같은 기법들이 함께 있어야 대규모 오픈 모델을 제대로 서비스할 수 있다. 겉으로는 단순한 API처럼 보여도 내부에서는 복잡한 최적화가 지속적으로 작동한다.
21. 19:22
    Token Factory 사용해 보기 Token Factory를 체험할 수 있도록 크레딧과 최신 오픈소스 모델이 제공되며, coding 작업에도 바로 활용할 수 있다. 질문은 Discord나 발표자에게 직접 문의할 수 있다.

실무 인사이트

• 오픈 모델의 생산 환경 도입은 모델 선택보다 서빙 최적화와 운영 자동화가 성패를 좌우하므로, 추론 지연·캐시·라우팅·양자화를 별도 과제로 다뤄야 한다.
• 모델 로그를 수집해 후속 학습과 배포로 바로 연결하는 폐쇄 루프를 만들면, 단발성 성능 개선이 아니라 제품과 함께 진화하는 운영 체계를 구축할 수 있다.
• 같은 모델이라도 엔진, 하드웨어, 캐시 전략에 따라 체감 성능과 비용이 크게 달라지므로, 벤치마크는 모델 자체뿐 아니라 서빙 스택까지 포함해 비교해야 한다.