📺 영상 요약 아카이브
← 목록

How MiniMax M3 Was Built: Sparse Attention and Native Multimodality — Olive Song

AI Engineer · 2026-10-11 07:30 · 15:03
모델·제품 출시 모델 학습·연구 오픈·로컬 모델
YouTube에서 보기

한 줄 핵심

MiniMax M3는 1M 토큰 컨텍스트, sparse attention, 그리고 처음부터 통합한 멀티모달 학습을 결합해 긴 문맥·코딩·비전 성능을 동시에 노린 오픈 웨이트 모델이다.

시간별 요약

  1. 0:00
    소개 MiniMax의 Olive Song이 MiniMax M3와 그 학습 방식, 특히 step zero부터의 native multimodality와 MSA 기반 sparse attention을 설명한다. 팀은 언어 모델, speech, video generation, coding agent까지 다루는 멀티모달 연구 조직이라는 점을 강조한다.
  2. 1:03
    MiniMax M3 소개 MiniMax M3는 frontier performance를 갖춘 open weight 모델로, 코딩과 에이전트 작업을 자동 분해하고 실무 코딩 작업의 대부분을 대체할 수 있는 능력을 목표로 한다. 긴 컨텍스트와 멀티모달을 함께 갖춘 점이 핵심 차별점이다.
  3. 1:37
    100만 토큰 컨텍스트 이 모델은 1 million context window를 제공해 긴 코드베이스와 장기 상호작용을 처리할 수 있으며, MSA 덕분에 full attention 대비 pre-fill은 9배, decode는 15배 빨라졌다. 또한 처음부터 시각 이해와 언어 생성을 함께 학습해 computer-use 같은 응용에 유리하다.
  4. 2:57
    인덱스 브랜치와 sparse 브랜치 MSA는 index branch와 sparse branch의 2단 구조로 동작한다. index branch가 가벼운 full attention과 KL loss로 중요한 토큰을 찾고, sparse branch는 그 결과를 바탕으로 선택된 일부 토큰만 attention해 계산량을 줄인다.
  5. 4:17
    왜 DeepSeek의 DSA를 그대로 쓰지 않는가 DSA는 강력하지만 DeepSeek의 MQA와 큰 head beam에 최적화되어 있어 GQA 구조에 그대로 적용하기 어렵다. 그래서 기존 방식을 복사하는 대신, GQA 제약과 시스템 효율을 함께 고려해 구조를 다시 설계했다.
  6. 5:07
    기존 sparse attention의 문제점 기존 방식은 GQA의 여러 KV head가 같은 토큰만 보게 만들어 head 간 다양성을 약화시킨다. token selection 중심 설계는 알고리즘적으로도 중복이 많고, 구현상으로도 GPU 효율이 떨어진다.
  7. 5:37
    GPU 메모리 접근 GQA에서는 KV 차원이 여러 head로 쪼개져 연속적 메모리 읽기가 어려워지고, 여러 독립 읽기 때문에 메모리 오버헤드가 커진다. 여기에 token-level top-k 계산은 병렬화가 어려워 선택과 병합 비용까지 추가된다.
  8. 7:01
    MSA에서 바꾼 점 MSA는 index branch 결과를 한데 합치지 않고 KV head마다 다른 토큰 집합을 유지해 GQA의 다양성을 살린다. 또한 알고리즘과 인프라를 함께 바꾸는 접근으로 sparse attention을 다시 설계했다.
  9. 7:46
    블록 단위 검색 token-level selection 대신 block-level retrieval로 바꾸면서 후보 수와 top-k 및 병합 오버헤드를 크게 줄였다. 이 방식은 GPU 친화적인 메모리 접근을 가능하게 하면서도 성능 저하가 크지 않음을 보였다.
  10. 8:21
    효율적인 커널 학습과 추론 모두를 위한 효율적인 kernel이 sparse attention을 실용적으로 만든다. 이 시스템 수준 최적화 덕분에 M3를 1 million context까지 효율적으로 학습할 수 있었다.
  11. 9:01
    처음부터 멀티모달 MiniMax M3는 text와 vision을 나중에 붙인 것이 아니라 처음부터 멀티모달 데이터로 학습됐다. 핵심 과제는 텍스트 성능을 해치지 않으면서 멀티모달 능력을 어떻게 넣느냐였다.
  12. 9:46
    학습 전략 비교 CPT처럼 pre-training이 끝난 뒤 멀티모달을 추가하면 텍스트 능력이 떨어지기 쉽고, pre-training 도중에 넣는 방식도 데이터 혼합과 learning rate에 민감해 불안정했다. 결국 scratch부터 native multimodal로 학습하는 전략이 텍스트 성능을 거의 해치지 않으면서 가장 안정적이었다.
  13. 11:45
    Attention map이 보여주는 것 CPT 스타일 모델은 텍스트 토큰이 visual token에 거의 주의를 주지 않아 두 모달이 분리된 흔적이 보인다. 반면 native multimodal 학습에서는 attention이 더 통합적으로 나타나며, 시각·언어 정보가 자연스럽게 섞인다.
  14. 13:10
    ViT의 3D attention ViT 내부에 3D attention을 넣으면 프레임 간 patch가 직접 상호작용해 시간적·교차 프레임 이해가 좋아진다. 이 효과는 video뿐 아니라 일부 image benchmark에도 긍정적이며, 성능과 효율의 균형은 four frames에서 가장 좋았다.

실무 인사이트

  • 긴 컨텍스트 모델은 단순히 창 크기만 키우는 것이 아니라, sparse attention과 커널 최적화를 함께 설계해야 실제 속도와 비용이 맞는다.
  • 멀티모달은 사후 부가 기능보다 scratch부터 통합 학습할 때 텍스트 능력 보존과 표현 통합이 더 안정적으로 나온다.
  • 알고리즘 설계와 GPU 메모리 접근 방식은 분리할 수 없으며, GQA 같은 구조에서는 token-level보다 block-level 접근이 더 실용적이다.