영상 생성 입문 | Seedance, Wan도 해봄

한 줄 핵심

LLM과 영상 생성 모델을 조합해 논문 설명 영상, 광고, 쇼츠 스타일 콘텐츠를 빠르게 만드는 실험을 공유하면서, 현재는 모델별 강점과 한계가 뚜렷해 레퍼런스 설계와 비용 관리가 핵심이라고 정리한다.

시간별 요약

1. 0:00
   LLM 기반 영상 제작 실험 소개 최근 LLM과 영상 생성 모델이 편집·효과·생성까지 잘해내는지 여러 가지를 직접 시험해 봤고, 오늘은 그중 가볍고 재미있는 실험들을 중심으로 소개한다.
2. 0:30
   논문을 설명 영상으로 만드는 서비스 논문을 넣으면 자동으로 설명 영상을 만들어 주는 Paper 2 Video 서비스를 시연하며, 핵심 개념을 짧은 영상 안에서 정의와 사례, 실험 설계까지 자연스럽게 풀어내는 점이 강점으로 드러난다.
3. 3:18
   논문 릴스 채널 운영과 논문 선별 논문을 영상으로 만들어 인스타 채널에 올리고 있으며, 분야별 큐레이션과 업로드를 AI가 함께 처리한다. 좋은 논문을 고르는 기준은 인게이지먼트와 연구적 가치, 재미를 피드백으로 계속 보정하는 방식이다.
4. 6:25
   난이도별 논문 설명과 Blender 실험 같은 논문도 쉬운 버전, 보통 버전, 어려운 버전으로 나눠 설명할 수 있게 만들었고, 다음 실험 대상으로 Blender를 골라 더 다양한 형식의 콘텐츠를 시도한다.
5. 6:45
   LLM과 Blender로 만든 폴더블 광고 말로 대충 설명한 콘티를 바탕으로 Blender에서 3D 광고 영상을 만들어 보았고, 폴더블폰을 둘러싼 과장된 대결 구도까지 포함한 매우 기묘한 결과물이 나왔다. 아직은 결과가 매끄럽지 않지만, 장면 자체를 구성하는 데는 이미 상당히 쓸 만하다.
6. 10:05
   Blender 장면에 영상 생성을 입힌 결과 Blender로 만든 장면 위에 비디오 생성 모델을 얹어 실사화했지만, 인물·제품 정체성 일관성과 장면 제어가 흔들리는 문제가 드러난다. 다만 프롬프트와 인퍼런스를 더 세밀하게 제어하면 훨씬 나아질 가능성은 충분하다.
7. 12:44
   유행 영상으로 본 생성 모델의 강점 인터넷에서 유행하는 스타일의 영상을 넣어 보니, 잘 맞는 입력이 들어갈 때 비디오 생성 모델은 매우 강력하게 동작한다. 비용까지 함께 확인해 보니 모델별로 체감 가격 차이가 크고, 특히 Seedance는 성능과 비용 모두에서 눈에 띈다.
8. 15:02
   주요 영상 생성 모델의 사례 비교 Seedance, Wan, MiniMax를 비교하며 각 모델의 장단점과 입력 방식의 차이를 살펴본다. 텍스트만으로도 꽤 잘 나오지만, 얼굴·의상 일관성, 움직임의 자연스러움, 오디오 동기화 같은 세부 품질은 모델마다 편차가 크다.
9. 18:36
   레퍼런스 이미지 영상과 오디오 품질 텍스트가 아니라 레퍼런스 이미지를 넣고 생성한 영상은 시각적으로는 비슷해 보여도, 오디오와 효과음이 부자연스러운 경우가 많다. 소리까지 자연스럽게 맞추는 것이 아직 가장 어려운 영역 중 하나다.
10. 21:22
    생성 비용과 모델 선택 전략 원하는 구도와 퀄리티를 얻으려면 여러 번 뽑아야 해서 비용이 빠르게 늘어난다. 따라서 저화질 드래프트 모드로 먼저 시도하고, 모델 구조·입력 형식·비용을 함께 고려해 선택하는 전략이 중요하다.
11. 23:14
    모델 가이드와 영상 생성 서비스 활용 모델 사용 가이드와 서비스의 라우터·에이전트 기능을 참고하면 뽑기 횟수를 줄일 수 있다. 실제로는 단순 호출보다 서비스가 제공하는 하네스와 라우팅 구조를 활용하는 편이 더 효율적이다.
12. 25:51
    자동 편집에 영상 생성을 쓰는 목적 자동 편집된 영상에서 설명이 부족한 부분을 보완하거나, 모션 그래픽만으로는 부족한 구간에 현실감 있는 시각 요소를 넣는 것이 주된 목적이다. 즉, 영상 생성은 편집 자동화의 빈틈을 메우는 보조 수단으로 쓰인다.
13. 26:53
    일관성 평가 자동화의 한계와 활용처 프레임별 얼굴·의상 일관성을 LLM으로 평가시키려 했지만, 비주얼 이해가 아직 충분히 정교하지 않아 자동 판정이 잘 안 된다. 다만 로봇 시뮬레이션처럼 생성된 데이터를 활용하는 분야에서는 오히려 유용할 수 있다.
14. 28:33
    오픈웨이트 영상 모델의 구조와 비용 MiniMax H3 같은 오픈 웨이트 모델의 구조를 보면 텍스트·이미지·오디오·비디오가 함께 들어가는 멀티모달 아키텍처가 핵심이다. 다만 모델 크기와 인퍼런스 비용이 커서, 대량 사용 시에는 직접 운영하는 편이 더 합리적일 수 있다.
15. 30:43
    영상 모델 아키텍처와 학습 데이터 과제 Wan은 단계별로 서로 다른 14B 모델을 쓰는 구조로 보이며, 아키텍처가 모델마다 꽤 다르다. 영화·광고 같은 실제 영상 데이터를 그대로 학습시키면 텍스트 지시와의 정합성이 깨지기 쉬워, 합성 데이터와 오디오-비디오 정렬 문제가 중요하다.
16. 33:52
    Blender 클레이로 영상 생성 제어하기 레퍼런스 비디오를 먼저 Blender로 ‘클레이’처럼 만들고, 그 위에 얼굴·건축 양식·동작 같은 요소를 얹는 방식이 더 현실적이다. 지금은 영상 생성 모델보다 Blender 쪽에서 먼저 형태를 잡아 주는 접근이 더 잘 통한다.
17. 35:48
    AI 유튜브와 레퍼런스 영상의 미래 AI가 만든 콘텐츠가 늘어나면서 쇼츠·릴스 중심의 AI 유튜브는 빠르게 늘어날 가능성이 크다. 특히 완성도 높은 레퍼런스 영상이 있으면 모방과 변형이 쉬워져, 앞으로는 입력 설계 능력이 더욱 중요해진다.
18. 39:29
    오프라인 이벤트 제안과 마무리 온라인 콘텐츠만으로는 아쉬우니 오프라인 이벤트를 열어 보자는 제안으로 마무리한다. 실제 사람과 현장에서 연결되는 경험이 앞으로 더 중요해질 수 있다는 메시지가 남는다.

실무 인사이트

• 영상 생성은 모델 성능보다도 어떤 레퍼런스와 구조로 입력하느냐가 결과를 크게 좌우하므로, 실무에서는 프롬프트보다 입력 자산 설계가 먼저다.
• 지금의 최적 전략은 Blender 같은 결정적 도구로 뼈대를 만들고, 비디오 생성 모델로 질감과 현실감을 입히는 하이브리드 방식이다.
• 대량 생성이나 반복 실험을 하려면 품질만 보지 말고 드래프트 모드, 라우터, 비용 구조까지 포함해 워크플로를 설계해야 한다.