[한영자막] 지능을 빌리는 건 그만: 특화 AI의 학습부터 배포까지

한 줄 핵심

오픈 모델은 이미 실전 투입이 가능하며, Fireworks는 추론 최적화부터 학습·배포까지 같은 플랫폼에서 묶어 비용과 품질을 함께 개선하는 방법을 제시한다.

시간별 요약

1. 0:00
   시작과 문제 제기 ChatGPT나 Anthropic 같은 폐쇄형 모델의 비용 부담 때문에 오픈 모델로 옮겨가는 흐름이 커지고 있으며, 핵심 과제는 오픈 모델의 성능과 품질을 폐쇄형 모델 수준으로 끌어올리는 것이다.
2. 1:14
   오픈 모델의 세 가지 사실 오픈 모델은 이미 상당 부분 프로덕션에 투입 가능하고, 품질 격차는 커스터마이징·학습·개선 방식에서 벌어진다. 또한 AI 스택은 한 번 서빙하고 끝나는 구조가 아니라 학습과 추론이 반복되는 연속 루프로 바뀌고 있다.
3. 2:09
   Fireworks의 역할 Fireworks는 오픈 모델의 학습과 대규모 호스팅을 더 쉽고 저렴하게 만드는 역할을 한다. 특히 추론과 학습을 함께 다루는 통합 흐름을 중심으로 플랫폼을 설계하고 있다.
4. 2:59
   Fireworks의 운영 규모 현재 Fireworks는 약 30 trillion tokens 규모를 운영하고 10,000개 이상의 회사를 지원하며 초당 약 200k requests를 처리한다. Cursor, Vercel, GenSpark 같은 고객 사례를 통해 실서비스에서의 성능 개선 효과를 보여준다.
5. 3:34
   고객사별 성과 Cursor의 Composer 2는 FireAttention 덕분에 13x 더 빠른 추론을 달성했고, Vercel은 파인튜닝과 호스팅을 통해 40x latency 개선을 얻었다. GenSpark는 RFT와 데이터 정리, evaluator 함수 설계를 통해 품질을 12% 개선했다.
6. 5:14
   FireAttention과 CUDA 커널 추론 성능은 모델 아래의 CUDA kernels까지 포함한 전체 스택 최적화에서 나온다. 고객의 입력·출력 토큰 수, cache hit rate, latency 목표에 맞춰 추론 엔진과 커널을 함께 조정해 비용과 성능을 동시에 맞춘다.
7. 6:14
   Speculative decoding speculative decoding, disaggregation, quantization 같은 기법을 적용해 추론 효율을 높인다. 특히 draft model도 플랫폼에서 학습할 수 있어 메인 모델의 지연 시간을 줄이고 처리량을 높일 수 있다.
8. 7:09
   세 가지 학습 방식 학습 제품은 training agent, managed training, training API의 세 가지 방식으로 나뉜다. 초보자는 UI 기반 agent로 데이터 정리와 하이퍼파라미터 탐색을 맡기고, 더 익숙한 사용자는 관리형 학습이나 직접 루프를 제어하는 API를 쓴다.
9. 8:09
   관리형 학습 managed training은 API나 UI에서 모델, 데이터셋, 하이퍼파라미터를 지정하고 실행하는 가장 대중적인 방식이다. 학습 과정의 epoch별 진행, loss 변화, observability를 대시보드로 확인하고 Weights & Biases와도 연동할 수 있다.
10. 9:14
    Training API training API는 ML engineer가 학습 루프와 loss function까지 직접 정의할 수 있게 해준다. 관리형 학습보다 더 세밀한 커스터마이징이 필요할 때 쓰는 고급 옵션이다.
11. 9:54
    SFT, RFT, DPO 플랫폼은 SFT, RFT, DPO를 모두 지원하며, 특히 RFT 수요가 크다. RFT에서는 좋은 evaluator function 설계와 데이터 정리, 하이퍼파라미터 선택이 중요하지만 training agent는 RFT를 직접 지원하지 않는다.
12. 10:54
    데이터 플라이휠 학습한 모델을 곧바로 배포하고, 배포 후 모니터링과 피드백을 다시 학습에 반영하는 데이터 flywheel 구조를 강조한다. 같은 플랫폼에서 학습·호스팅·재학습을 묶어 비용과 속도를 낮춘다.
13. 12:29
    새 가중치 실시간 적용 hot loading을 통해 새 checkpoint가 생기면 다운타임 없이 live deployment로 전환할 수 있다. 이전 weight를 새 endpoint로 즉시 교체할 수 있어 반복 학습과 운영 배포의 간극이 줄어든다.
14. 13:09
    수치 연산의 일관성 학습과 서빙을 다른 플랫폼에서 하면 numerics 차이로 품질 문제가 생길 수 있다. 같은 플랫폼에서 학습과 추론을 함께 처리하면 numerical fidelity를 유지하면서 바로 production scale로 배포할 수 있다.
15. 14:09
    Training agent 데모 training agent는 데이터셋과 eval 데이터셋을 입력하면 SFT 계획, base model 선택 이유, 하이퍼파라미터, 실행 단계까지 자동으로 제안한다. 사용자는 제안을 승인한 뒤 진행 상황, 최종 metrics, 요약, 다음 단계까지 한 번에 확인할 수 있다.
16. 16:04
    관리형 학습 데모 managed training 데모에서는 모델과 데이터셋, evaluator 설정, 필요 시 세부 하이퍼파라미터를 넣고 create를 누르면 학습 job이 실행된다. 완료 후에는 사용된 설정과 loss를 확인하고 clone으로 재현할 수 있으며, 이후 deployment 섹션에서 바로 배포할 수 있다.
17. 18:29
    마무리 오픈 모델의 학습부터 추론까지의 전체 루프를 하나의 플랫폼에서 연결하면 품질, 속도, 비용을 함께 개선할 수 있다. 핵심은 모델 자체보다도 운영과 최적화까지 포함한 end-to-end 흐름을 설계하는 데 있다.

실무 인사이트

• 오픈 모델 전환의 병목은 모델 선택보다 데이터 정리, evaluator 설계, 하이퍼파라미터 튜닝처럼 운영 가능한 학습 파이프라인을 갖추는 데 있다.
• 추론 성능은 모델만이 아니라 CUDA 커널, speculative decoding, cache hit rate 같은 시스템 요소를 함께 최적화해야 실질적으로 개선된다.
• 학습과 서빙을 같은 플랫폼에서 묶으면 numerical fidelity와 배포 속도를 동시에 확보할 수 있어, 반복 개선이 잦은 서비스에 특히 유리하다.