Taming the AI Hardware Cambrian Explosion — Abdul Dakkak, Modular

한 줄 핵심

Modular는 쪼개진 AI 하드웨어와 복잡한 소프트웨어 스택을 Mojo·Max·Modular Cloud로 하나의 추상화 계층에 묶어, 다양한 GPU와 환경에서 더 빠르고 이식성 있게 추론하려는 플랫폼을 소개한다.

시간별 요약

1. 0:00
   소개 Modular이 무엇을 제공하는지와 그 가치가 무엇인지 전체적으로 설명하는 발표의 서두다.
2. 0:23
   컴퓨트 부족과 하드웨어 폭발 AI 연산 자원은 심각하게 부족한 반면 GPU, Intel, ARM, Apple 등 다양한 하드웨어가 급증해 있다. 문제는 선택지가 늘어난 만큼, 이들 시스템을 어떻게 공통 방식으로 프로그래밍할지가 더 어려워졌다는 점이다.
3. 1:03
   복잡하게 얽힌 소프트웨어 스택 현재 스택은 하드웨어 지원이 위로 올라오며 점점 더 복잡해졌고, VLM, SG lang, TRTLM, Llama CPP 같은 도구가 중복적으로 쌓여 있다. 이 복잡성을 해결하려면 기존 스택을 다시 설계해야 한다는 문제의식이 제시된다.
4. 1:48
   스택을 처음부터 다시 구축하기 이식성, 성능, 프로그래머블성을 모두 만족하는 통합 스택을 바닥부터 만든다. 그 기반은 Mojo, 그 위의 추론 엔진 Max, 그리고 분산 추론을 위한 클라우드 계층으로 구성되며, 온프레미스와 클라우드 모두를 지원한다.
5. 3:53
   Mojo Mojo는 Python 스타일의 이종 시스템 프로그래밍 언어로, CPU와 GPU 및 가속기 전반을 대상으로 한다. Python을 아는 사람이라면 대부분 익숙하게 쓸 수 있으면서도 CUDA급 성능을 지향한다.
6. 4:28
   Mojo와 CUDA, Triton, OpenCL 비교 성능, 사용성, 이식성의 세 축에서 각 도구의 장단점을 비교하며 Mojo의 위치를 설명한다. Mojo는 portable하고 사용하기 쉬우면서도 저수준 제어를 유지해 최대 성능을 노리는 균형점을 목표로 한다.
7. 5:23
   최신 수준의 커널 대부분의 커널이 오픈소스로 공개되어 있어 직접 벤치마크할 수 있다. 행렬곱과 attention 커널은 Nvidia, AMD 등 여러 하드웨어에서 동급 또는 더 빠른 수준을 보이며, Mojo 1.0과 Mojo 공개도 예고된다.
8. 6:13
   Max Max는 PyTorch가 오늘날의 GenAI 추론을 위해 설계되지 않았다는 한계를 보완하는 새로운 추론 프레임워크다. 그래프 컴파일러, eager 실행, Mojo 프로그램 이해를 통한 fusion으로 개발과 배포를 하나의 일관된 시스템에서 처리한다.
9. 7:43
   수천 개 모델 지원 Gemma 4, Miniax 3, GLM 등 수천 개의 아키텍처를 같은 인터페이스로 지원한다. Python 기반 모델 개발 경험을 유지하면서 eager execution으로 디버깅까지 가능하게 만든다.
10. 8:58
    멀티 GPU, 멀티 노드, 혼합 하드웨어 Max API는 멀티 GPU와 멀티 노드 분산 실행을 기본적으로 다룬다. 더 나아가 prefill과 decode를 서로 다른 하드웨어에 배치하는 식의 이기종 구성도 허용한다.
11. 9:33
    Modular Cloud Modular Cloud는 분산·이기종 추론을 위한 실행 환경으로, 사용자가 변수들을 직접 만지며 최적점을 찾을 수 있는 ‘glass box’에 가깝다. 기본 엔드포인트 배포뿐 아니라 bring your own cloud, 커스텀 모델, speculative decoder까지 지원한다.
12. 10:58
    중요한 이유 이 스택을 쓰면 비용을 낮추고, 하드웨어 종속성을 줄이며, 여러 모델과 장비를 유연하게 조합할 수 있다. 결국 한 공급자에 묶이지 않고 더 넓은 배포 선택지를 얻는 것이 핵심 가치다.
13. 11:27
    Kimi K2.5 벤치마크 Kimi K2.5에서 VLM 대비 TTFT가 5.5배 빠르고, B200에서 처리량도 1.5배 높다고 제시한다. 벤치마크는 독립적으로 검증되었다고 강조하며 성능 우위를 수치로 보여준다.
14. 12:07
    FLUX.2 FLUX.2에서는 diffusers를 컴파일한 대안보다 약 7배 빠른 결과를 제시한다. 하나의 프레임워크 안에서 video, audio, image, text 생성까지 함께 지원하는 점도 강조된다.
15. 12:42
    AMD MI355 AMD MI355 환경에서도 약 4배 빠른 성능과 TCO 이점을 주장한다. 단순한 속도 비교뿐 아니라 GPU 가격 차이까지 고려해야 하므로, 비용 대비 성능 관점에서의 비교가 중요하다고 본다.
16. 13:17
    독립적인 결과 Artificial Analysis가 결과를 독립 검증하고 있으며, FLUX.2 dev에서도 다음 경쟁자보다 약 3배 빠르다고 제시한다. distillation이나 quantization 같은 꼼수 없이 하드웨어와 스택 설계만으로 속도를 낸다고 주장한다.
17. 14:27
    초당 이미지 생성 이미지를 sub-second, 경우에 따라 0.3초 수준으로 생성할 수 있다고 보여준다. 빠른 추론 덕분에 영상 피드를 읽어 그에 맞는 이미지를 즉시 렌더링하는 식의 실시간 응용도 가능해진다.
18. 14:47
    Gemma 4 Gemma 4에서도 다른 경쟁 구현보다 더 빠른 성능을 제시하며, 특히 일부 하드웨어 가속기 대비 큰 격차를 강조한다. 현재 성능이 끝이 아니라 앞으로도 더 최적화가 이어질 것이라고 덧붙인다.
19. 15:32
    참여 방법 오픈소스 커뮤니티 참여, 70만 줄 이상의 커널 코드, AI skills를 통한 언어 포팅, 채용, 그리고 pip install modular로 직접 검증할 수 있는 방법을 안내한다. 단순 시연이 아니라 실제로 써보고 결과를 검증해 달라는 메시지로 마무리된다.

실무 인사이트

• 하드웨어 다양성이 커질수록 모델 성능만이 아니라 스택의 이식성과 운영 복잡도를 함께 줄이는 통합 계층이 경쟁력이 된다.
• 추론 성능 비교는 순수 속도만 보지 말고 GPU 가격, TCO, 멀티노드 운영 가능성까지 함께 봐야 실제 의사결정에 유용하다.
• 분산 추론 시대에는 모델 하나를 잘 돌리는 것보다, 여러 하드웨어와 배포 환경에서 같은 개발 경험을 유지하는 것이 더 큰 생산성 차이를 만든다.