[한영자막] 왜 자꾸 더 작은 AI 모델을 만들까?

한 줄 핵심

클라우드 중심이 아니라 다양한 기기에서 AI를 돌리려면 작은 모델과 더 작은 모델이 필요하며, 양자화와 합성 데이터 기반 미세조정이 그 실전 해법이다.

시간별 요약

1. 0:00
   이 영상은 고성능 로봇이 아닌 수많은 디바이스에 AI를 넣기 위해 왜 tiny model이 필요한지, 그리고 오늘 당장 무엇을 만들 수 있는지를 다룬다. 작은 모델의 장단점, 더 작은 모델이 필요한 이유, 그리고 실제 배포를 위한 준비 과정을 순서대로 설명한다.
2. 1:00
   edge AI의 핵심 이점은 낮은 지연시간, 프라이버시, 오프라인 동작, 그리고 클라우드 호출 비용 절감이다. 반면 DRAM 비용이 큰 제약이어서 양자화와 최소 모델 크기 설계가 필수이며, 저사양 LLM 영역은 아직 연구가 덜 되어 있다.
3. 4:00
   small model은 대체로 1~4 billion parameters 수준이며, 모바일·브라우저·고급 IoT에서 유용하지만 여전히 메모리 요구량이 크다. 그러나 zero-shot prompting과 낮은 어댑터만으로도 꽤 높은 성능을 내며, Gemma 계열처럼 reasoning과 function calling까지 실용적으로 처리할 수 있다.
4. 12:01
   tiny model은 더 넓은 기기 범위를 목표로 하며, 고정 기능 모델과 태스크별 미세조정이 핵심이다. ASR, vision, embedding 같은 기본 기능은 0.5 billion parameter급에서도 충분히 빠르게 동작하고, 작은 모델을 특정 작업에 맞게 fine-tuning하면 훨씬 낮은 지연과 낮은 RAM으로도 충분한 품질을 얻는다.
5. 16:01
   실전에서는 합성 데이터 10,000~10 million 샘플로 작은 모델을 특정 작업에 맞춰 학습시키는 방식이 매우 효과적이다. voice dictation, 정리, 개인화, 요약, proofreading 같은 기능을 완전 로컬에서 구현할 수 있고, Chrome 같은 제품도 tiny model을 통해 더 넓은 사용자에게 기능을 배포할 수 있다.

실무 인사이트

• edge 배포를 목표로 한다면 모델 선택보다 먼저 목표 기기의 DRAM 예산과 지연시간 기준을 정하고, 그 제약 안에서 양자화·런타임·KV cache까지 포함해 설계해야 한다.
• 범용 성능이 필요하지 않은 기능은 큰 모델을 얹기보다 task-specific tiny model로 쪼개서 합성 데이터 기반 fine-tuning을 하는 편이 비용과 반응속도 모두에서 유리하다.
• voice to function calling처럼 입력과 출력이 명확한 작업은 작은 모델로도 높은 신뢰도를 만들 수 있으므로, UI를 복잡하게 만들기보다 자연어 인터페이스로 전환하는 전략이 효과적이다.