Stop Shipping LLM Settings That Only Win on Paper - Rohan Pandey & Balaji Varadarajan, DigitalOcean

한 줄 핵심

Bayesian optimization과 Optuna로 VLM 서빙 설정을 자동 탐색해, 수동 튜닝보다 훨씬 빠르게 더 높은 처리량과 더 나은 지연시간을 만드는 방법을 보여주는 영상이다.

시간별 요약

1. 0:01
   최적 서빙 설정을 자동으로 찾는 에이전트 핵심 목표는 어떤 모델이든 가장 좋은 VLM 서빙 설정을 자동으로 찾아 수동 튜닝 시간을 줄이는 것이다. 에이전트가 백그라운드에서 레시피와 파라미터를 반복 탐색하면 최적값을 더 빠르게 찾을 수 있다.
2. 1:00
   Bayesian optimization과 Optuna의 탐색 방식 Bayesian optimization은 탐색 공간을 줄이면서 최적 숫자를 찾는 방법이고, Optuna가 이를 실제 검색 루프에 적용한다. 각 trial마다 현재 레시피를 평가해 점수를 매기고, 그 결과를 바탕으로 다음 설정을 바꾸며 성능을 개선한다.
3. 2:00
   Droplet에서 시작 레시피와 실행 명령 설정 실행 환경은 Droplet에 배포된 모델이며, 시작 레시피는 chat short, chat long, rag, batch classify 같은 여러 regime으로 구성된다. tuner.py에 study 이름, 시작 YAML, hardware, trial 수를 넘겨 실행하면 탐색이 시작된다.
4. 4:00
   HTML 리포트와 최적 YAML 결과 실행이 끝나면 HTML 리포트로 어떤 trial이 최선이었는지 확인하고, 최종적으로 최적화된 YAML 파일을 얻는다. GPT-OSS에서는 17.5% 토큰 생성 개선이 있었고, DeepSeek R1 Distill에서는 토큰 처리량이 두 배로 늘고 ITL이 거의 절반으로 줄었다.

실무 인사이트

• 서빙 최적화는 감으로 조정하기보다 trial 기반 자동 탐색으로 바꾸면 시간 대비 성능 향상이 훨씬 안정적이다.
• 최적화의 기준을 정확도보다 goodput tokens, token throughput, ITL처럼 운영 지표로 잡아야 실제 서빙 개선으로 이어진다.
• 실행 후 HTML 리포트와 최종 YAML을 함께 남기면 실험 재현성과 운영 반영 속도를 동시에 높일 수 있다.