Large clusters for small models — Daniel Svonava, Superlinked

한 줄 핵심

작은 오픈소스 모델은 특정 작업에서 최전선급 성능까지 도달할 수 있으며, 이를 효율적으로 운영하려면 단일 모델·상향식 라우팅보다 다수 모델을 전제로 한 자체 클러스터 아키텍처와 튜닝 체계가 필요하다.

시간별 요약

1. 0:00
   작은 오픈소스 모델, 직접 구축하기 작은 오픈소스 모델은 한 GPU에 올릴 수 있고 비교적 저렴한 하드웨어로도 운영할 수 있어, 특정 작업에서는 큰 비용 절감과 낮은 지연시간을 동시에 얻을 수 있다. 이 발표는 폐쇄형 서비스가 아니라 직접 소유하고 조정하는 오픈소스 스택을 전제로 한다.
2. 2:30
   작은 모델이 최전선에 근접하고 있다 최전선 모델의 성능 향상은 점점 수확 체감 구간에 들어가고 있고, 그 사이에서 작은 오픈소스 모델의 성능은 빠르게 따라붙고 있다. 충분히 맞는 작업에서는 GPT 5.1 수준의 워크플로를 작은 모델로 옮겨 비용과 성능의 균형을 바꿀 수 있다.
3. 3:42
   하나의 작업, 하나의 모델: 9개 모델 계약 에이전트 작은 모델을 쓸수록 범용 모델 하나로 모든 일을 처리하기보다 작업을 잘게 나누고 각 작업에 가장 맞는 모델을 붙이는 방식이 필요하다. 계약 검토 같은 실제 에이전트는 여러 모델을 조합하는 형태가 되며, 결국 문제는 모델 수가 아니라 그 모델들을 어떻게 운영할지로 이동한다.
4. 6:37
   서빙 도구는 직접 튜닝해야 하는 연구 프로젝트다 vLLM, sglang 같은 서빙 도구는 특정 모델·하드웨어 조합에 맞게 미리 최적화되어 있지 않아서, 실제 도입 시에는 파라미터 탐색과 트래픽 맞춤 조정이 필수다. 즉, 도구를 가져오면 끝나는 엔지니어링이 아니라 성능을 얻기 위한 반복 실험이 필요한 연구 작업에 가깝다.
5. 7:31
   상향식 라우팅이 작은 요청에서 막히는 이유 큰 모델을 여러 GPU에 나눠 서빙할 때의 상향식 라우팅 방식은, 작고 빠른 요청이 많이 들어오는 환경에서는 라우터 자체가 병목이 된다. 워커 상태를 정확히 예측해 미리 배정해야 하는데, 작은 요청이 많아질수록 로컬 큐를 제대로 채우지 못해 GPU 활용률이 낮아진다.
6. 8:42
   LoRA와 파인튜닝이 속도를 떨어뜨리는 대화 작은 모델은 LoRA와 커스텀 파인튜닝의 이점이 커서, 운영 중에 계속 새 적응본을 붙여야 하는 상황이 자주 생긴다. 이때 인프라 엔지니어와 AI 엔지니어 사이의 왕복 조정이 늘어나며, 조직의 속도를 가장 크게 떨어뜨리는 요인이 된다.
7. 11:12
   게이트웨이, 공유 큐, 그리고 가져가는 워커 제안된 구조는 라우터가 미리 배정하는 대신 게이트웨이가 요청을 메타데이터와 함께 공유 큐에 넣고, 워커가 직접 가져가 처리하는 방식이다. 요청은 MessagePack 같은 바이너리 포맷으로 전달되고, 대용량 데이터는 클라우드 스토리지와 분리해 큐 병목을 줄인다.
8. 14:37
   워커가 직접 배치를 만들면 처리량이 두 배가 된다 중앙 큐에서 워커가 스스로 작업을 가져와 배치를 구성하면, 고정된 상향식 라우팅보다 훨씬 효율적으로 GPU를 채울 수 있다. 특히 멀티 GPU 머신에서는 로컬 큐를 활용해 일부 요청을 되돌릴 수 있게 하여, 클러스터 처리량을 두 배까지 끌어올릴 수 있다.
9. 16:28
   세 가지 런타임과 Rust 사이드카 PyTorch, Kendall, SGLang 같은 서로 다른 런타임을 모두 다루려면 하나의 런타임에 종속되지 않는 추상화가 필요하다. 여기서는 Rust sidecar와 소켓을 통해 런타임 차이를 흡수하고, 모델별 어댑터가 많아도 일관된 성능 최적화를 유지하는 구조를 쓴다.
10. 19:29
    한 GPU로 초당 50만 임베딩 토큰 처리하기 작은 GPU로도 임베딩 모델은 초당 수십만 토큰을 처리할 수 있고, 생성형 모델도 특정 작업에서는 매우 높은 처리량과 낮은 지연시간을 낸다. 검색용 임베딩, 합성 데이터 생성, 평가용 라벨링 같은 작업은 관리형 API보다 자체 GPU 서빙이 비용·성능 모두에서 유리하다.
11. 22:38
    같은 GPU에 여러 모델을 함께 배치하기 큰 모델처럼 모델별 워커 풀을 따로 두는 방식은 작은 모델에서는 비효율적이며, 여러 모델을 한 GPU에 함께 배치하는 편이 더 빠르다. 대신 메모리 압력에 따라 lazy loading과 eviction을 섞어야 하며, 고정 배치와 유연한 배치의 균형이 중요하다.
12. 23:33
    튜닝된 설정을 함께 배포하는 오토리서치 새 모델을 지원할 때는 자동화된 실험 루프와 측정 도구를 통해 성능을 끌어올리고, 최종적으로는 전체 클러스터 설정을 묶어서 배포한다. 단순히 모델만 추가하는 것이 아니라, 하네스·대시보드·평가를 포함한 메타 루프로 튜닝 결과를 제품화한다.
13. 24:17
    80센트짜리 LoRA 아주 저렴하게 학습한 LoRA도 실제 품질을 의미 있게 개선할 수 있으며, 예시로는 80센트로 학습한 LoRA가 독일 법률 검색 품질을 18% 향상시켰다. 작은 모델과 저비용 적응 기법은 충분히 실용적이며, 자기 호스팅 환경에서 큰 효과를 낼 수 있다.

실무 인사이트

• 작은 모델 도입의 핵심은 모델 선택보다도 라우팅·배치·메모리 운영을 포함한 서빙 구조를 다시 짜는 데 있다.
• GPU 활용률이 낮다면 모델 성능보다 큐 설계와 요청 분배 방식이 병목일 가능성이 높으므로, 워커 주도 배치와 로컬 큐를 우선 점검해야 한다.
• LoRA와 파인튜닝이 잦은 조직일수록 모델 배포 파이프라인을 표준화해, AI 엔지니어와 인프라 엔지니어의 왕복 조정을 최소화해야 한다.