SOTA Generative Media Panel — Dumitru Erhan, Shane Gu & Nicole Brichtova, Google DeepMind

한 줄 핵심

Google DeepMind의 생성 미디어 패널은 Omni와 Nano Banana 계열의 최신 출시를 바탕으로, 단일 모델보다 목적별 모델 조합·고품질 데이터·인간 평가가 여전히 중요하다는 점과 영상·오디오 생성이 세계 모델로 가는 핵심 경로라는 점을 강조한다.

시간별 요약

1. 0:00
   소개와 이 자리가 만들어진 이유 최근의 주요 발표 뒤에 숨은 맥락과 중요 포인트를 돌아보는 자리이며, Omni와 VO Nano Banana를 만드는 팀이 직접 나와 생성 미디어의 현재 위치를 공유한다. 이 세션은 단순 데모보다 더 실용적인 활용과 연구 방향을 함께 짚기 위해 마련된다.
2. 2:00
   Nano Banana 2 Lite와 Omni Flash APIs NanoBanana 2 Lite는 더 빠르고 저렴하면서도 원래 Nano Banana보다 성능이 좋아, 생성과 편집에서 기존 사용처를 대체할 수준으로 제시된다. Gemini Omni Flash APIs는 개발자가 영상 생성·편집을 바로 쓸 수 있게 열렸고, 가격도 Y31 fast와 동일하게 책정된다.
3. 4:30
   데모를 넘어: 스토리보드, 편집, 교육 이미지 묶음이나 오디오 참조를 입력으로 받아 영상을 만드는 방식은 스토리보드 제작, 숏폼·단편 제작, 교육 콘텐츠 커스터마이징에 특히 유용하다. 자연어로 영상에서 요소를 추가·삭제하는 편집 기능은 여행 영상 정리나 마케팅 소재 제작 같은 실무 작업으로 확장된다.
4. 7:51
   하나의 모델이 모든 것을 처리하는 비디오 에이전트 언어를 통한 상세한 조건화가 스푸리어스한 상관관계를 줄이고, 비디오 모델이 causal information을 더 잘 배우게 한다는 관점이 제시된다. 비디오 모델은 공간·시간 정보를 다루는 강력한 기반 모델이며, 이미지·오디오·텍스트와의 조합을 통해 더 넓은 일반화를 기대할 수 있다.
5. 10:26
   비디오 모델은 제로샷 학습자 비디오 모델은 시각 퀴즈나 로보틱스 같은 과제에서 제로샷 추론과 물리적 직관을 보여 주며, 이해와 생성이 함께 발전할 수 있음을 시사한다. 다만 지금은 하나의 통합 모델로 수렴하기보다, Gemini와 Omni 같은 조합을 활용한 점진적 접근이 더 실용적이다.
6. 13:01
   모든 것이 하나의 모델로 합쳐질까? 장기적으로는 하나의 멀티모달 모델로 수렴할 가능성이 있지만, 단기적으로는 3D·코딩·비디오·오디오처럼 서로 다른 트레이드오프를 가진 모델이 공존할 수밖에 없다. 이미지와 비디오는 전이가 크지만, 코딩과 비디오처럼 전이가 명확하지 않은 조합은 더 많은 탐색이 필요하다.
7. 14:20
   중간 표현으로서 캡셔닝은 적절한가? 자연어 캡션은 범용성이 높고 인간이 직접 쓰는 인터페이스라는 장점이 있지만, 영상의 세부적인 구조와 변화를 담기에는 손실이 크다. 코드나 더 풍부한 토큰 표현이 더 나은 중간 표현일 수 있으며, 현재도 그런 가능성을 적극적으로 탐색하고 있다.
8. 18:13
   사람들이 말하는 월드 모델의 실제 의미 월드 모델은 정의가 다소 흐리지만, 결국 model-based RL 맥락의 모델, 즉 세계의 상태와 변화를 내재적으로 다루는 모델을 가리키는 경우가 많다. 영상과 언어를 함께 쓰는 모델은 단순한 압축이 아니라 인간 수준의 AGI에 필요한 보완적 기반으로 여겨진다.
9. 19:44
   비전 연구자가 생성 연구자로 바뀌는 흐름 이미지 이해를 하던 연구자들이 이미지·비디오 생성으로 넘어가는 흐름은 자연스럽고, 이해가 좋아질수록 생성도 좋아지는 상호 강화 구조가 형성된다. 비디오 모델의 발전 경로는 초기 언어 모델이 챗봇과 추론으로 확장된 과정과 비슷하게 전개될 수 있다.
10. 24:51
    오디오와 공동 생성이 중요했던 이유 오디오와 영상은 기술적으로 다르지만, 실제 생성 과정에서는 하나의 잠재적 인과 과정에서 함께 나오는 것이 자연스럽다. V3처럼 오디오와 비디오를 동시에 생성해야 입 모양과 소리가 맞고, 후처리로 립싱크를 붙이는 방식의 한계를 줄일 수 있다.
11. 26:32
    언어로는 설명할 수 없는 것들 음악의 톤, 냄새, 맛, 피부색, 미세한 시각적 질감처럼 인간이 매우 민감하게 느끼는 정보는 언어로 충분히 기술하기 어렵다. 이런 영역에서는 언어만으로는 부족하고, 감각적 표현을 직접 다루는 멀티모달 모델이 필요하다.
12. 32:03
    스튜디오 품질이 AI 영상의 흔적 AI 영상은 종종 지나치게 선명하고 정돈된 스튜디오 품질로 구분되며, 이것이 오히려 생성물의 흔적이 되기도 한다. 더 풍부한 캡션과 조건 정보가 있어야 언어 조건에 덜 의존하고, 생성 결과의 다양성과 현실감을 높일 수 있다.
13. 34:12
    사람들이 생성 영상을 더 선호할 때 같은 내용을 기준으로 실영상과 생성영상을 비교하면, 인간 평가에서 생성영상이 더 선호되는 경우가 있다. 이는 더 높은 해상감과 HDR 느낌, 더 매끈한 색감 같은 시각적 편향 때문일 수 있으며, 항상 실제 유용성과 일치하지는 않는다.
14. 36:07
    프롬프트 엔지니어링과 훈련된 감수성 프롬프트 엔지니어링은 사라져야 할 기술이 아니라, 출력 차이를 민감하게 구분할 수 있는 훈련된 감수성을 바탕으로 계속 중요해진다. 평균적인 사람의 취향과 숙련된 크리에이터의 판단은 다르며, 모델은 그 차이를 더 잘 따를 수 있어야 한다.
15. 38:27
    세상의 기본 미학을 정한다는 것 모델의 기본 스타일이 너무 복잡하거나 채도가 높으면, 정보가 과하게 밀집된 결과물이 양산될 수 있다. 팀은 실제로 색감·채도·레이아웃 같은 기본 미학을 조정하며, 모델이 디폴트로 어떤 세계관을 보여 줄지 신중하게 다룬다.
16. 41:09
    아무도 눈치채지 못한 결혼반지 모델이 손에 결혼반지를 반복적으로 넣는 현상처럼, 훈련 데이터나 보상 구조가 낳는 예상 밖의 편향이 있다. 이런 사소해 보이는 아티팩트도 장기적으로는 모델의 현실성에 영향을 주는 reward hacking의 사례가 된다.
17. 42:10
    비디오를 실제로 어떻게 평가하는가 이미지처럼 OCR로 자동 판정할 수 있는 항목도 있지만, 비디오의 미학과 편집 품질은 여전히 인간 평가에 많이 의존한다. 대규모 인간 평가, 라이브 실험, 사용자 피드백을 함께 써야 워크플로를 망치지 않는 모델을 고를 수 있다.
18. 47:35
    어떤 데이터를 찾고 있는가 단순히 많은 데이터보다 고품질 데이터가 중요하며, 특히 프로 수준의 제작 데이터와 실제 작업 흐름이 담긴 데이터가 필요하다. 마케팅 캠페인, 제품 사진, 에셋 변환 같은 실제 태스크의 궤적을 보여 주는 데이터가 모델 개선에 더 유용하다.
19. 53:04
    Forward deployed engineers를 평가 채널로 쓰는 법 Forward deployed engineers는 단순한 세일즈가 아니라, 고객의 실제 사용 맥락을 모델 개선으로 되돌리는 평가·학습 채널이 될 수 있다. 제품과 모델 사이의 간극을 줄이려면 현장 피드백을 upstream으로 끌어올려야 하며, 그 과정이 곧 post-training의 일부다.

실무 인사이트

• 생성 미디어 제품은 데모 품질보다 실제 작업 흐름에 맞는 입력·출력 구조를 설계해야 채택이 빨라진다.
• 비디오·오디오 생성은 언어 캡션만으로는 한계가 뚜렷하므로, 더 풍부한 중간 표현과 고품질 데이터 수집 전략이 핵심이다.
• 모델 평가는 자동 지표보다 인간의 취향·전문성·현장 피드백을 결합해야 하며, 특히 편집·광고·브랜딩처럼 주관성이 큰 영역에서 더 중요하다.