Why Large? Tiny LMs & Agents on Edge/Robotics — Cormac Brick, Google

한 줄 핵심

엣지·로보틱스에서 AI를 넓게 쓰려면 거대한 모델보다 더 작은 tiny model을 선택하고, 양자화와 합성 데이터 기반 미세조정으로 빠르고 저렴하게 배포하는 전략이 핵심이다.

시간별 요약

1. 0:01
   엣지에서 AI를 확산하려면 비싼 로봇이 아니라 다양한 기기에서 돌아가는 tiny model이 필요하며, 이 강연은 현재 작은 모델이 어디까지 가능한지와 실제 배포 방법을 다룬다. Google AI edge 팀은 오픈소스 런타임과 제품 적용을 함께 밀면서, 작은 모델을 실제 디바이스에 얹는 데 집중한다.
2. 2:00
   엣지 배포의 장점은 낮은 지연시간, 개인정보 보호, 오프라인 동작, 그리고 대규모 호출 비용 절감이다. 반대로 핵심 제약은 DRAM 비용이며, 그래서 양자화와 가능한 가장 작은 모델 선택이 전체 설계를 좌우한다.
3. 5:02
   small model은 대체로 1~4B 파라미터 범위로, 모바일·브라우저·상위 IoT 기기에서 실용적이다. Gemma 2B급 모델은 강한 추론 성능과 함께 2 bit, 4 bit, 8 bit 양자화를 섞어 메모리 사용량을 크게 줄였고, Raspberry Pi나 Jetson Nano, Qualcomm IoT board 같은 장치에서 충분히 유용한 속도를 낸다.
4. 12:00
   tiny model은 500M~50M급까지 내려가며, 더 적은 RAM과 더 높은 반응 속도가 필요할 때 적합하다. 이 구간에서는 범용 대화보다 ASR, vision, embedding처럼 고정 작업 모델이 강하고, 필요하면 별도 fine-tuning으로 특정 기능을 작고 빠르게 만든다.
5. 15:01
   작은 모델의 핵심 활용법은 text to function calling 같은 단일 작업을 매우 높게 신뢰할 수 있도록 학습시키는 것이다. mobile actions처럼 10,000~10,000,000개의 합성 샘플로 미세조정하면 86% 이상 신뢰도로 모바일 제어를 수행할 수 있고, 로컬 음성 받아쓰기처럼 서버형 기능을 완전 오프라인 제품으로 바꿀 수 있다.
6. 19:02
   실무적 결론은 consumer device와 entry-level robotics에서는 small LLM이 이미 충분히 쓸 만하고, NPU 환경에서는 특히 빠르다는 점이다. 다음 단계는 음성-함수호출을 더 쉽게 일반화하고, 합성 데이터 생성을 자동화해 tiny model을 더 많은 제품에 빠르게 적용하는 것이다.

실무 인사이트

• 엣지 AI는 모델 성능만 보지 말고 DRAM 예산과 디바이스 BOM을 먼저 정해야 하며, 그다음에 양자화와 최소 모델 크기를 역산하는 방식이 효과적이다.
• 범용 큰 모델을 억지로 줄이기보다, ASR·vision·function calling처럼 단일 작업에 맞춘 tiny model을 미세조정하는 편이 품질과 속도를 동시에 확보하기 쉽다.
• 오프라인 받아쓰기나 음성 제어처럼 명확한 사용자 가치가 있는 기능은 로컬 tiny model로 대체했을 때 제품 차별화와 비용 절감을 함께 얻기 좋다.