Thinking Machines의 Inkling 2 Small은 600B급 오픈웨이트 모델의 학습 방식과 파인튜닝 가능성을 공개해, 거대 모델도 4bit 학습과 짧은 학습 시간으로 실용적 활용 단계에 들어왔음을 보여준다.

이번 영상은 최근 AI 뉴스 몇 가지를 훑은 뒤, Thinking Machines Lab의 오픈 웨이트 모델 Inkling 2 small의 학습 방식과 파인튜닝 가능성을 중심으로 왜 주목할 만한지 정리한 영상이다.

거대 AI 랩은 모델이 상품화되는 순간 수조 달러의 투자금을 회수하려면 사용자와 기업 업무에 깊이 잠입하거나 직접 고수익 문제를 풀어야 하며, 이에 맞서려면 기업은 모델이 아니라 자신이 소유한 기반 위에 에이전트와 소프트웨어를 쌓아야 한다.

AI 모델은 빠르게 상품화되고 있으므로, 경쟁의 핵심은 독점 모델 자체가 아니라 사용자가 통제할 수 있는 오픈한 에이전트·플랫폼 위에 자신이 가진 기반을 쌓는 데 있다.

AI 에이전트의 실제 비용은 모델 성능만이 아니라 입력 토큰, 캐시 적중률, 추론 강도, 단계 수까지 합쳐 결정되며, 적절한 벤치마킹과 트레이드오프 판단이 없으면 같은 작업도 10배 이상 비싸질 수 있다.

API만 쓰는 것보다 자체 인프라와 open weight 모델을 운영할 때 총소유비용과 성능을 동시에 개선할 수 있으며, 특히 장기 코딩 작업에서는 정확도보다 하드웨어·동시성·하네스 선택이 비용을 더 크게 좌우한다.

Revolut은 2,000명 규모의 엔지니어링 조직에서 오픈 모델을 자체 호스팅해 코딩 AI 비용을 90% 절감하면서, 실제 병목은 코딩 자체보다 검색·업무 맥락 처리에 있음을 입증한다.

오픈 모델을 더 싸고 빠르게 쓰려면 단순 서빙이 아니라 데이터·학습·배포·재학습을 하나의 연속 루프로 묶어야 하며, Fireworks AI는 그 전 과정을 같은 플랫폼에서 운영하게 해 준다.

이 영상은 에이전트의 추론을 직접 소유하는 관점에서, 전용 GPU와 vLLM·Kubernetes를 활용해 지연시간과 처리량을 측정·최적화하는 실전 워크숍이다.

MiniMax M3는 1M 토큰 컨텍스트, sparse attention, 그리고 처음부터 통합한 멀티모달 학습을 결합해 긴 문맥·코딩·비전 성능을 동시에 노린 오픈 웨이트 모델이다.

Google DeepMind의 Gemma 4와 관련 도구를 중심으로, 연구 모델을 브라우저·모바일·로컬 환경에서 바로 활용하는 방법을 보여주는 실용적 소개 영상이다.

오픈 모델을 생산 환경에서 빠르고 싸고 안정적으로 쓰려면 추론 인프라 최적화, 데이터-재학습-배포의 순환, 그리고 하드웨어부터 서빙 엔진까지의 세밀한 튜닝이 핵심이다.

Ollama로 로컬에서 JEV 같은 의사결정 모델을 돌려 AI 1인 기업의 판단 엔진으로 쓰는 방법과, Claude·GPT·Gemini로 구현했을 때의 차이를 실전 비교까지 보여준다.

오픈소스 모델 Laya를 로컬에서 직접 학습해 고객지원 문의 라우팅 정확도를 크게 끌어올릴 수 있으며, 특정 업무에선 제너럴 모델보다 더 실용적인 선택이 될 수 있음을 보여주는 영상이다.

GLM-5.2는 오픈 웨이트로 공개된 준최전선급 모델로, 코딩을 넘어 추론·수학·일반 대화·법률·금융·보안까지 넓은 활용을 겨냥하며 Z Code와 API·파인튜닝 생태계까지 함께 제시한다.

RMS norm을 몇 가지 대수적 변형으로 가볍게 만들고 CUDA 스트림을 병렬화해 모델 속도를 높이되, 커널 수준의 동기화 실수를 잡아야 실제로 정상 동작한다는 점을 보여준다.

에이전트 시대에는 요청 단위가 아니라 작업 단위로 추론 인프라를 설계해야 하며, 프리픽스 캐시·캐시 인지 라우팅·에이전트 인지 최적화를 통해 open weight 모델을 생산적으로 더 빠르고 저렴하게 쓸 수 있다는 주장이다.

작은 오픈소스 모델은 특정 작업에서 최전선급 성능까지 도달할 수 있으며, 이를 효율적으로 운영하려면 단일 모델·상향식 라우팅보다 다수 모델을 전제로 한 자체 클러스터 아키텍처와 튜닝 체계가 필요하다.

AGI에 대한 각 회사의 기여도를 주관적으로 티어링하면서, OpenAI·Google DeepMind·NVIDIA·DeepSeek·Hugging Face처럼 연구·생태계·하드웨어를 실제로 가속한 주체들이 상위권을 차지해야 한다는 관점을 제시한다.

구글 Colab, LM Studio, RAG, LoRA, Hugging Face, GGUF를 이어서 0원에 나만의 인공지능 두뇌를 학습·배포·연결하는 전체 흐름을 쉽게 따라가며 배울 수 있는 영상이다.

OpenAI의 GPT Astra와 Anthropic의 Claude Opus 6 출시 가능성이 높아지는 가운데, Codex의 100만 토큰 컨텍스트 설정 방법과 Qwen 3.8·DeepSeek V4 Pro 같은 로컬 모델의 추격 성과까지 함께 짚는 최신 모델 동향 요약이다.

한국은 AI 인프라 확장의 핵심 파트너이며, 반도체·클라우드 협력을 빠르게 키우는 동시에 open models를 통해 안전성과 주도권을 확보해야 한다는 메시지다.

LM Studio로 무료 로컬 AI 모델을 연결해 다마고치처럼 키우는 실습을 통해, 로컬 AI·RAG·향후 파인튜닝의 감을 초보자도 쉽게 잡게 해주는 입문 영상이다.

오픈 모델은 신뢰·통제·비용 최적화 측면에서 닫힌 API보다 유리하며, 하네스와 후훈련을 함께 설계하면 로컬·도메인 특화 AI가 오히려 더 강해질 수 있다는 점을 강조하는 영상이다.

이 영상은 양자화·압축이 거대 모델을 로컬 기기와 엣지에서 실용적으로 쓰게 만드는 핵심 기술이며, 정확도 손실을 최소화하는 설계·평가·하드웨어 최적화가 앞으로 더 중요해진다는 점을 보여준다.

미국 기술 기업들은 중국 오픈웨이트 AI의 확산을 규제하기보다 오픈 생태계를 키워야 미국의 AI 경쟁력, 비용 효율, 산업 주도권을 지킬 수 있다고 주장한다.

MiniMax M3와 이를 서빙하는 Together AI의 사례를 통해, 오픈 웨이트 모델은 멀티모달·장문 컨텍스트·에이전트 워크로드에 맞는 학습과 인프라 최적화가 결합될 때 빠르게 프런티어를 따라잡을 수 있음을 보여준다.

클라우드 중심이 아니라 다양한 기기에서 AI를 돌리려면 작은 모델과 더 작은 모델이 필요하며, 양자화와 합성 데이터 기반 미세조정이 그 실전 해법이다.

대규모 모델 스케일링에서는 데이터 믹스, 합성 데이터, 분산 학습의 수치 안정성과 관측성을 함께 다뤄야 하며, 이 네 가지를 정교하게 다듬어야 더 강한 코딩 중심 open weight 모델로 이어진다.

엣지·로보틱스에서 AI를 넓게 쓰려면 거대한 모델보다 더 작은 tiny model을 선택하고, 양자화와 합성 데이터 기반 미세조정으로 빠르고 저렴하게 배포하는 전략이 핵심이다.

로컬·오픈소스 모델은 더 작은 하드웨어에서 더 높은 성능을 내는 방향으로 빠르게 진화하고 있어, 개인과 기업이 클라우드 대신 자체 GPU와 스택을 보유할 이유가 커지고 있다.

클로드 코드를 버리지 않고도 설정만 바꿔 Kimi K2.7 Code 같은 오픈 모델로 즉시 갈아탈 수 있으며, 앞으로는 한 도구에 종속되지 않도록 언제든 모델을 바꿀 수 있는 상태를 만드는 것이 핵심이다.

로컬 AI의 핵심 가치는 모델 성능만이 아니라 하네스·컨텍스트·최적화를 함께 개선해 비용, 개인정보, 제어권 문제를 해결하는 데 있다.

무료 오픈소스 모델을 진화적 모델 머징과 SLERP/DARE 같은 합성 기법으로 섞어, 로컬에서 돌아가는 나만의 특화 AI 두뇌를 만드는 방법을 이론과 실습으로 보여준다.