EP 119. 코드로 재생하는 AI | Video as Code와 생성형 오독

한 줄 핵심

AI는 편집·모션그래픽·설명 영상 제작을 대폭 자동화할 수 있지만, 콘텐츠의 가치와 희소성은 여전히 사람의 원본 스토리와 카테고리별 편집 감각에 달려 있다.

시간별 요약

1. 0:00
   샌프란시스코 마지막 밤의 녹화와 오프닝 샌프란시스코 마지막 밤에 진행한 녹화에서 최근 주목받는 코드 기반 영상 제작 실험을 소개할 주제를 꺼낸다.
2. 0:25
   샌프란시스코에서 연 Video as Code 행사 비디오 생성 모델이 아니라 LLM이 애니메이션 코드나 Blender 같은 도구를 다뤄 영상을 만드는 접근을 Video as Code로 정의하고, 현지에서도 높은 관심을 받았다고 설명한다.
3. 1:51
   공동 호스트 Sina가 코드로 만든 설명 영상 교육에 관심 있는 공동 호스트가 코드로 개념 설명 영상과 오디오를 만들어 조회수 75만 회, 96만 회급 성과를 냈고, 짧은 기간에 팔로워를 확보했다고 보여준다.
4. 3:49
   Manim에서 출발한 ManimGX와 교육에 대한 꿈 3Blue1Brown의 Manim에서 출발해 ManimGX를 직접 만들며, 어려운 개념을 더 직관적으로 시각화해 교육을 발전시키겠다는 목표를 공유한다.
5. 6:20
   원본 footage에서 출발한 Kurzgesagt 스타일 실험 무에서 영상을 만드는 사례와 달리, 실제 원본 footage를 더 잘 편집하고 설명하는 방향에서 출발해 Kurzgesagt 스타일의 영상 생성 실험을 시도한다.
6. 7:40
   부업 유튜버의 편집 부담과 AI가 99% 편집하는 채널 부업으로 운영하는 채널의 편집에 에피소드당 20시간 이상이 들자, AI로 편집을 대체하는 실험을 시작했고 결국 채널 일부는 99% AI 편집으로 운영하게 됐다.
7. 10:01
   운동선수 인플루언서 팬 채널로 비교한 AI 편집 성과 전문 제작자가 아닌 운동선수 인플루언서의 라이브 소스를 AI로 편집해 새 팬 채널에 올리자 조회수가 더 잘 나와, 비전문 편집자 수준은 넘었다는 신호를 얻는다.
8. 12:11
   SudoCut 출시와 쇼츠 클리핑, 영어 자동 더빙 SudoCut으로 편집을 공개한 뒤 쇼츠용 하이라이트 클리핑과 영어 자동 더빙까지 확장했으며, 이제는 내용에 맞는 모션 그래픽 생성까지 시도한다.
9. 14:16
   Opus 5.5가 불붙인 Video as Code와 도구 비교 Opus 5.5를 계기로 여러 모델과 도구를 비교해 봤고, ManimGX, Remotion, HyperFrames가 있든 없든 LLM이 준수한 모션 그래픽 코드를 꽤 잘 생성한다고 본다.
10. 16:39
    유료 강의를 학습한 Codex의 Kurzgesagt 스타일 애니메이션 Kurzgesagt 스타일 애니메이션은 유료 강의를 바탕으로 Codex에 학습시킨 뒤 반복 수정을 거쳐 만들었고, 사람의 디렉션과 평가가 품질을 끌어올렸다고 본다.
11. 18:20
    그럴듯한 영상은 slop인가 좋은 콘텐츠인가 겉보기에는 괜찮아 보이는 AI 영상이지만, 지금 단계가 단지 신기한 slop인지 실제 좋은 콘텐츠인지 아직은 판단이 어렵다고 문제를 제기한다.
12. 19:12
    여러 카테고리 채널로 검증한 시청자 반응 다양한 카테고리의 채널과 영상에 모션 그래픽을 붙여 올려본 결과 일부는 시청자 반응이 매우 좋았고, AI 사용 여부를 묻는 댓글은 거의 없었다.
13. 22:40
    현지 반응과 카테고리마다 달라지는 편집 기준 현지에서는 기술보다 실제 제작 과정을 궁금해했고, 편집 기준은 채널 카테고리마다 달라져야 하며 공통 정답은 아직 찾지 못했다고 정리한다.
14. 24:38
    콘텐츠의 진짜 가치인 원본 스토리텔링 편집과 모션그래픽은 원본 대화와 스토리텔링의 가치를 보강하는 역할이며, 0에서 전부 생성한 콘텐츠보다 실제 사람이 말한 핵심을 살리는 방향에 더 큰 가치를 둔다.
15. 26:49
    발표 덱 디자인으로 본 Claude와 GPT의 스타일 차이 발표 덱은 GPT-6.1 Sol로 만들었지만 기존 무드보드와 디자인 시스템이 섞여 있어 Claude와 GPT의 스타일이 함께 남아 있다고 본다.
16. 27:39
    백남준을 기억하는 집에서 선보인 퍼포먼스 '생성형 오독' 동묘의 '백남준을 기억하는 집'에서 진행한 퍼포먼스 '생성형 오독'을 소개하며, bytebeat 코드와 소리의 잘못 읽기를 중심으로 작업했다고 설명한다.
17. 28:58
    Viznut의 bytebeat 코드와 진화 알고리즘으로 탐색하는 소리 Viznut의 bytebeat 수식을 출발점으로 진화 알고리즘을 써서 다양한 조합을 탐색하고, 소리를 직접 연주해 보며 코드의 가능성 공간을 넓혀간다.
18. 32:03
    소리를 이미지와 이모지로 다시 읽는 오독 소리를 이미지로 바꾸고 다시 비슷한 이모지로 매칭해, 기호를 의도와 다르게 읽는 방식으로 새로운 의미를 만들어낸다.
19. 35:13
    코드만 보고 소리를 예측할 수 있는가와 verifiability 문제 코드만 보고 소리를 예측하기 어렵고, 결국 사람의 청취 판단이 필요하다는 점에서 소리 생성도 verifiability 문제가 핵심이라고 짚는다.
20. 38:06
    YAMNet 소리 분류, 이모지 합성과 픽셀 아트 게임 YAMNet으로 소리를 분류하고, 이모지 조합 규칙을 LLM이 만들게 하여 픽셀 아트 같은 창작 결과물을 생성하는 실험을 이어간다.
21. 40:46
    John Cage와 백남준, 우연의 해석과 대량 생산 가설 John Cage와 백남준처럼 우연과 무작위성을 해석하는 미디어 아트 전통을 잇되, 템플릿과 프롬프트를 대량 생산하면 좋은 결과를 다수 뽑아낼 수 있다는 가설을 제시한다.
22. 41:44
    훈련 분포를 벗어나기 어려운 LLM의 창의성 LLM과 영상 모델은 훈련 데이터 분포 밖으로 나가기 어렵기 때문에, 창의성은 분포를 벗어나면서도 완전한 노이즈가 아닌 결과를 만드는 데 있다고 본다.
23. 44:36
    interpolation과 out of distribution, 넓어지는 탐색의 영토 우주비행사가 말을 타는 DALL-E 예시처럼 기존 분포 안의 조합은 interpolation의 창의성이고, 앞으로는 그 바깥의 out of distribution을 어떻게 다룰지가 다음 과제라고 본다.
24. 47:03
    충격을 받은 수학계와 Terence Tao, Grant Sanderson의 시선 바둑에 이어 수학계도 AI에 충격을 받았고, Terence Tao는 비관적 기류를, Grant Sanderson은 여전히 낙관적 가능성을 말하는 대조를 언급한다.
25. 49:08
    AI 시대에도 explainer와 커뮤니케이터는 안전한가 설명 영상 제작자와 커뮤니케이터는 완전히 사라지기보다, 사용자가 무엇을 궁금해하는지 모를 때 좋은 주제를 추천하는 역할로 더 중요해질 수 있다고 본다.
26. 53:45
    AI가 판단하지 못하는 희소한 곳으로 향하는 가치 가치는 결국 희소한 곳으로 이동하며, AI가 끝까지 모든 것을 잘 판단할 수는 없기 때문에 사람의 선택과 감각이 남는 영역이 계속 생긴다고 본다.
27. 54:30
    유치원 원가 영상과 Opus가 쓴 손글씨 애니메이션 유치원 원가를 악보에서 추출해 영상으로 만들면서, 손글씨풍 애니메이션은 Opus가 처리했고 음악은 Suno로 보완해 작업했다.
28. 56:22
    생성하면 안 되는 영역과 규모를 키울 수 없는 의미 어린이가 직접 그린 그림처럼 의미가 핵심인 작업은 AI가 대신하면 가치가 사라질 수 있어, 어떤 영역은 의도적으로 생성하지 않아야 한다고 본다.
29. 59:19
    조합형 한글 폰트와 Claude Code만으로 하는 디자인 11,172자 조합형 한글 폰트를 만들고, 영상 편집기나 벡터 툴을 거의 열지 않은 채 Claude Code만으로 레이아웃과 디자인을 진행하고 있다.
30. 1:00:38
    줄지 않는 작업 시간과 PPT·포스터 자동 생성의 한계 자동 디자인이 있어도 사진과 문구 선택에서 마음에 드는 결과를 얻기 어렵고, PPT나 포스터 자동 생성도 정답이 없는 문제라 속도가 크게 줄지 않는다고 말한다.
31. 1:01:56
    스타일 평준화가 낳는 slop과 비슷해지는 모션 그래픽 모션 그래픽의 스타일이 비슷해지는 순간 희소성이 사라져 slop처럼 보이기 쉽고, 이미 그런 평준화 조짐이 나타나고 있다고 본다.
32. 1:02:39
    마무리와 다음 소식 예고 다음 날 한국으로 돌아가며, 이후에는 최신 AI 소식과 함께 다시 이야기를 이어가겠다고 마무리한다.

실무 인사이트

• AI 편집의 성패는 '얼마나 자동화되었는가'보다 '채널 카테고리별로 무엇을 남기고 무엇을 지울지'를 얼마나 잘 정의했는지에 달려 있다.
• 원본 스토리와 사람의 의도는 여전히 콘텐츠의 핵심 자산이며, AI는 이를 대체하기보다 증폭하는 용도로 쓸 때 가장 설득력이 크다.
• 영상·소리·디자인 모두에서 앞으로 중요한 경쟁력은 평균적인 생성 품질이 아니라, AI가 쉽게 평준화하지 못하는 희소한 감각과 큐레이션이다.