Stop Renting Intelligence: The Train-to-Deploy Loop for Specialized AI — Fireworks AI

한 줄 핵심

오픈 모델을 더 싸고 빠르게 쓰려면 단순 서빙이 아니라 데이터·학습·배포·재학습을 하나의 연속 루프로 묶어야 하며, Fireworks AI는 그 전 과정을 같은 플랫폼에서 운영하게 해 준다.

시간별 요약

1. 0:00
   소개 닫힌 모델은 빠르게 비싸질 수 있으므로, 비용과 성능 이유로 오픈 모델로 옮겨 가는 흐름이 커지고 있다. 이 영상은 오픈 모델이 강한 지점과, 성능을 닫힌 모델 수준으로 끌어올리는 학습·서빙 루프를 설명한다.
2. 1:27
   오픈 모델에 대한 세 가지 사실 대부분의 오픈 모델은 이미 프로덕션에 쓸 수 있을 만큼 성숙해 있으며, 품질 격차는 커스터마이징·학습·개선 방식에서 갈린다. 또한 AI 스택은 한 번 서빙하고 끝나는 구조가 아니라, 학습과 추론이 계속 맞물리는 구조로 바뀌고 있다.
3. 2:22
   Fireworks가 들어가는 자리 Fireworks는 오픈 모델을 계속 학습하고 대규모로 호스팅하는 과정을 더 쉽고 저렴하게 만들기 위한 플랫폼이다. 특히 추론과 학습을 같은 흐름 안에서 다루며, 뒤에서 다양한 학습 방식도 제공한다.
4. 3:12
   대규모 운영 현황 Fireworks는 프로덕션에서 30 trillion tokens 이상을 처리하고, 10,000개 이상의 기업과 초당 약 200k requests를 지원한다. 이 규모는 실제 고객 사례에서 지연 시간 단축과 품질 개선이 중요한 가치임을 보여 준다.
5. 3:47
   Cursor, Vercel, Genspark 사례 Cursor의 Composer 2는 Fireworks에서 학습·호스팅되었고, FireAttention 덕분에 추론이 13x 빨라졌다. Vercel은 파인튜닝과 호스팅으로 40x latency 개선을 얻었고, Genspark는 데이터 정리와 evaluator 설계, RFT로 12% 품질 향상을 달성했다.
6. 5:27
   FireAttention과 커스텀 커널 성능 최적화의 핵심은 FireAttention이라는 추론 엔진과 그 안의 커스텀 CUDA kernels이다. 입력 토큰, 출력 토큰, prompt cache hit rate, 지연 시간 목표에 맞춰 스택 전체를 조정해 더 싼 비용과 더 나은 성능을 동시에 노린다.
7. 6:27
   Speculative decoding과 draft models speculative decoding, disaggregation, quantization 같은 기법도 함께 제공된다. 특히 draft model도 같은 플랫폼에서 학습할 수 있어, 메인 모델의 응답 속도와 throughput을 더 끌어올릴 수 있다.
8. 7:22
   세 가지 학습 방식 학습 제품은 training agent, managed training, training API의 세 가지로 나뉜다. 각각 UI 중심 사용자, 일반적인 운영팀, 고급 ML engineer처럼 서로 다른 숙련도와 요구 수준을 겨냥한다.
9. 8:22
   관리형 학습 managed training은 모델, 데이터셋, hyperparameters를 넣고 버튼만 누르면 실행되는 방식이다. 학습 진행률과 loss를 UI에서 보고, weights and biases API key를 연결해 외부 관측성 도구와도 연동할 수 있다.
10. 9:27
    학습 API training API는 사용자가 직접 training loop와 loss function을 정의할 수 있게 해 준다. 관리형 학습보다 더 깊게 제어해야 하는 경우에 적합하며, 워크로드에 맞춘 고유한 학습 로직을 구현할 수 있다.
11. 10:07
    SFT, RFT, DPO 플랫폼은 SFT, RFT, DPO를 지원하며, 특히 RFT가 많이 주목받고 있다. 다만 training agent는 RFT의 데이터 정리나 hyperparameter 조정까지는 지원하지 않으므로, 큰 과제일수록 별도 지원이 필요하다.
12. 11:07
    데이터 플라이휠 학습한 모델은 곧바로 배포되고, 배포 후에는 token 수, cache hit rate, speculator 성능 같은 지표를 모아 다시 학습으로 이어진다. 이 순환을 매끄럽게 만들기 위해 GPU, 클라우드 파트너십, 재학습 흐름이 함께 설계되어 있다.
13. 12:42
    새 가중치의 즉시 반영 hot loading을 쓰면 새 checkpoint를 다운타임 없이 live deployment로 바로 교체할 수 있다. Cursor를 위해 만든 기능이지만, 반복 학습 후 즉시 반영해야 하는 일반적인 운영 환경에도 유용하다.
14. 13:22
    수치 정합성 학습과 추론을 서로 다른 플랫폼에서 하면 numerical fidelity 문제로 품질 차이가 생길 수 있다. 같은 플랫폼에서 학습과 서빙을 모두 수행하면 이런 차이를 줄이고, 학습 직후 바로 프로덕션 배포로 이어가기 쉽다.
15. 14:22
    training agent 데모 training agent는 학습 데이터와 평가 데이터를 넣으면 SFT plan, base model 선택 이유, hyperparameters까지 자동으로 제안한다. 사용자가 승인하면 단계별 진행 상황과 최종 metrics, 추천 다음 단계까지 정리해 준다.
16. 16:17
    managed training과 배포 데모 managed training에서는 모델·데이터셋·hyperparameters와 evaluator 설정을 고른 뒤 create를 누르면 학습이 시작된다. 완료 후에는 학습 이력, loss, 재현용 설정을 확인할 수 있고, 곧바로 배포 섹션에서 throughput, fast, minimal 같은 템플릿으로 서빙할 수 있다.
17. 18:42
    마무리 핵심 메시지는 오픈 모델을 쓰는 시대에는 학습과 추론을 분리된 작업이 아니라 하나의 연속된 운영 루프로 봐야 한다는 점이다. Fireworks는 그 루프를 같은 플랫폼에서 더 빠르고 저렴하게 돌리도록 돕는다.

실무 인사이트

• 오픈 모델의 경쟁력은 모델 자체보다 데이터 정리, 평가 함수, hyperparameter 조정 같은 주변 작업에서 크게 갈리므로, 학습 자동화보다 먼저 운영 규격을 표준화하는 것이 효과적이다.
• 학습과 배포를 같은 플랫폼에 묶으면 numerical fidelity와 운영 전환 비용을 줄일 수 있어, 성능 개선보다 재현성과 즉시 배포성을 우선하는 팀에 특히 유리하다.
• 지연 시간 최적화는 모델 교체만으로 끝나지 않고 FireAttention, speculative decoding, draft model처럼 서빙 스택 전체를 함께 튜닝해야 체감 효과가 크다.