Why AI Agents Need Million-Token Context — Thomas Wolf & Olive Song, MiniMax

한 줄 핵심

MiniMax M3는 1M 토큰의 긴 컨텍스트, 멀티모달 이해, 코딩 성능을 하나로 묶어 에이전트 시대에 필요한 모델 방향을 보여주며, 이를 뒷받침하는 연구·제품·오픈소스 전략까지 함께 설명하는 영상이다.

시간별 요약

1. 0:00
   소개 Hugging Face와 MiniMax의 대담이 시작되며, 오늘의 주제가 최근 공개된 최상위 오픈소스 모델 M3와 MiniMax의 접근 방식임을 예고한다.
2. 0:39
   선도 오픈소스 모델들의 경쟁 중국의 주요 AI 랩들인 DeepSeek, Moonshot, GLM, MiniMax가 오픈소스 최상위권을 두고 경쟁하는 구도가 제시되고, M3가 그 흐름의 핵심 사례로 소개된다.
3. 2:34
   MiniMax M3: 코딩, 비전, 100만 토큰 M3는 약 400B 총 파라미터와 20B 활성 파라미터를 가진 모델로, 코딩 성능과 이미지·비디오 이해, 그리고 1 million token 컨텍스트를 동시에 제공하는 것이 강점이다.
4. 3:46
   에이전트에게 더 긴 컨텍스트 윈도우가 필요한 이유 긴 컨텍스트는 단순 문서 요약을 넘어, 여러 차례의 도구 호출과 환경 상호작용이 오가는 에이전트 작업에서 필수이며, MiniMax Sparse Attention은 선택적 블록 계산으로 이를 효율화한다.
5. 6:22
   GPT-2의 1,024 토큰에서 100만 토큰 모델까지 컨텍스트 길이 확장은 계속 탐구할 가치가 있는 영역이며, 향후에는 하드웨어와 아키텍처 설계가 함께 더 긴 길이와 더 낮은 추론 비용을 뒷받침해야 한다.
6. 7:30
   MiniMax의 sparse attention을 설계한 인턴 MiniMax Sparse Attention은 팀의 인턴이 설계했으며, 아이디어와 구현에 열려 있는 조직 문화가 아키텍처 혁신으로 이어졌다는 점이 강조된다.
7. 8:29
   MiniMax 내부의 연구 프로젝트 방식 모델을 공개한 뒤 구성원 누구나 약점을 발견해 개선 아이디어를 제안하고, 여러 주에서 수개월까지 실험한 뒤 유효하면 최종 학습과 배포에 반영하는 구조가 연구 생산성을 높인다.
8. 10:01
   첫 단계부터 멀티모달 모델을 학습하는 방법 텍스트 학습 후 어댑터를 붙이는 방식은 텍스트 성능을 해치고 확장성도 낮기 때문에, 처음부터 이미지·비디오를 포함한 native multimodality로 학습하는 것이 더 자연스럽고 안정적이다.
9. 13:09
   1조 파라미터를 넘어서는 방향 더 큰 파라미터 규모가 필요한 작업들이 분명히 존재하며, MiniMax는 현재 규모를 넘어서 더 야심찬 모델로 나아갈 계획이다.
10. 13:25
    3억 명 사용자를 위한 AI 제품 만들기 MiniMax는 처음부터 멀티모달 AGI를 목표로 했고, 앱은 모델을 API보다 더 많은 사용자에게 체감시키기 위한 수단이었으며, 결과적으로 전 세계 200개국 3억 명 이상이 사용하는 제품군으로 확장됐다.
11. 15:20
    모델을 계속 오픈소스로 공개하는 이유 오픈소스는 커뮤니티의 피드백과 PR이 다음 버전의 품질을 높여 주므로 핵심 전략으로 유지되며, 특히 멀티모달과 같은 새로운 영역의 약점과 원하는 기능을 적극적으로 수집한다.
12. 17:29
    프레젠테이션과 긴 영상을 이해하는 에이전트 멀티모달 모델은 PowerPoint, 비정형 보고서, 긴 영상 같은 입력을 이해한 뒤 도구를 사용해 후속 행동까지 수행할 수 있어, 에이전트 활용 범위를 크게 넓힌다.
13. 18:27
    agent harness로 AI 연구 자동화하기 내부 연구 harness가 워크플로를 자동화하고, 모델이 다른 모델을 평가하거나 데이터를 만드는 작업까지 맡으면서 반복 속도와 장기 과제 처리 능력이 함께 올라간다.
14. 19:27
    M3가 이미 M3.1을 만들고 있다 현재 모델이 곧바로 다음 버전 개선에 활용되고 있으며, M3는 이미 M3.1을 만드는 데 필요한 실험과 개선 작업을 돕고 있다.
15. 19:55
    다음 단계는 멀티 에이전트 시스템 모델 라우팅과 멀티 에이전트는 더 복잡한 과제를 풀고, 각 모델의 강점과 한계를 드러내며, 앞으로의 AI 애플리케이션 설계에서 중요한 축이 될 전망이다.

실무 인사이트

• 에이전트용 모델은 단순한 성능보다 긴 컨텍스트, 멀티모달 입력, 도구 사용을 한 번에 다루는 설계가 더 중요하다.
• 모델 연구 조직은 공개 이후의 피드백 루프를 제품 개선 파이프라인에 직접 연결할 때 학습 속도와 품질이 함께 올라간다.
• 멀티모달과 장문 이해가 강화되면 프레젠테이션, 보고서, 긴 영상 요약·실행 같은 업무 자동화 기회가 크게 늘어난다.