대본만 쓰면 촬영부터 편집까지 AI가 다 하는 영상 제작 시스템을 공개합니다 (AI 엔지니어 샘호트만님)

한 줄 핵심

대본만 있으면 촬영·편집·검수까지 대부분 AI가 처리하는 영상 제작 시스템을 실제 사례로 보여주며, 로컬 GPU와 모델 교체를 통해 쇼츠·롱폼의 비용과 품질을 함께 최적화하는 방법을 설명한다.

시간별 요약

1. 0:00
   하이라이트 검수는 약 10%만 사람이 하고 나머지 90%는 AI가 맡는 구조가 핵심이며, 초기의 조악한 결과물도 레퍼런스와 피드백을 쌓아 품질을 크게 끌어올릴 수 있음을 보여준다. 특히 92억 토큰을 쓴 사례와 함께, 태생적으로 약한 모델을 억지로 고치기보다 더 좋은 모델이 나오면 교체하는 전략이 중요하다.
2. 0:40
   세 번째 출연, 샘호트만님 현업에서 AI 전환과 자동화를 다뤄온 실무자가 SNS 자동화와 콘텐츠 자동화를 중심으로 유튜브에서 활동하고 있으며, 이번 대화는 AI로 영상을 편집하는 실제 방법을 다룬다. 이전에는 Claude Code와 Hermes Agent를 활용한 업무 자동화가 주제였다면, 이번에는 영상 제작 자동화가 중심이다.
3. 2:04
   영상 자동화에 힘을 쏟는 이유와 AI 비중 개인 업무 자동화를 상당 부분 끝낸 뒤, 편집 리소스를 줄이기 위해 영상 제작으로 자연스럽게 관심이 옮겨갔다. Claude Opus의 발전으로 미감과 텍스처가 좋아졌고, 현재는 검수와 모자이크 같은 결정론적 작업만 사람이 확인하고 대부분은 AI가 처리한다.
4. 4:55
   기획부터 업로드까지 파이프라인 소재 수집과 대본 초안은 사람이 방향을 잡고 다듬지만, 그 이후는 재료 수집, 음성 생성, 연출 선택, B-roll·텍스트·애니메이션 구성, 자가 피드백, 업로드까지 자동화되어 있다. 시스템이 싫어하는 요소와 통과 기준을 체크리스트로 넣어두고, 결과가 기준에 못 미치면 특정 구간만 다시 만들도록 설계했다.
5. 9:14
   3월 Remotion 자동화 때와 달라진 점 초기에는 슬라이드처럼 패턴화된 영상과 조악한 미감이 눈에 띄었지만, 지금은 에셋 수집과 시각적 완성도가 크게 좋아졌다. 특히 영상이 끝난 뒤 스토리보드와 콘택트 시트를 뽑아 장면별 화려함, 규칙성, 연출의 다양성을 점검하는 방식으로 품질을 올린다.
6. 15:30
   쇼츠 한 편 만드는 과정: 대본 확정 뒤 /reel 한 번 대본이 확정되면 /REEL 명령으로 작업을 시작하고, 소재 입력 → 대본 초안 → 수정 → 자동 생성 → 자기 평가 → 렌더링 순서로 진행된다. 한 편을 만드는 데 약 2시간이 걸리며, 렌더링과 평가, 자기 피드백이 시간을 가장 많이 차지한다.
7. 17:07
   로컬과 API: 택시와 자차 API는 택시, 로컬 실행은 자차에 비유할 수 있으며, 텍스트 API는 저렴하지만 영상 생성은 비용이 급격히 커진다. GPU를 사면 초기 비용은 크지만 장기적으로는 반복 제작, 통제권, 다른 작업 활용까지 고려할 때 투자 가치가 생긴다.
8. 18:43
   로컬 모델의 한계와 립싱크 모델 교체 립싱크 품질은 모델 자체의 한계가 커서 파라미터 튜닝만으로는 해결되지 않는 경우가 많다. InfiniteTalk를 쓰다가 최근 나온 오픈소스 립싱크 모델로 바꾸면서 품질이 크게 좋아졌고, 억지 최적화보다 좋은 모델을 기다렸다가 적용하는 편이 낫다.
9. 21:56
   쇼츠 한 편 비용 계산: GPU는 언제 이득일까 한 편당 전기료는 거의 미미하지만, API 비용은 수천 원 수준이라 누적되면 GPU 구매가 합리적일 수 있다. 다만 비용만 보면 손해처럼 보여도, 보안과 통제권, 대량 생산 가능성, 다른 용도 활용까지 포함하면 장기적으로 이득이 될 수 있다.
10. 23:44
    3시간 마스터클래스, '전부 AI'의 범위 커리큘럼 기획, 대본 작성, TTS, 화면 녹화, 후시 녹음, 검수처럼 큰 방향과 최종 판단은 사람이 맡고, 나머지는 AI가 수행한다. 실습 구간은 Codex Computer Use로 화면 조작을 시키고, AI가 익숙하지 않은 UI는 리허설을 돌려 난이도와 전달 가능성을 먼저 확인한다.
11. 28:11
    B-roll 디자인 감도와 3시간 일관성 일관성은 브랜드 톤과 팔레트를 먼저 정해두고, 그 위에 연출을 덧입히는 방식으로 맞춘다. 장편일수록 뒤로 갈수록 코드와 프롬프트 품질이 떨어지기 쉬워서, 긴 영상을 한 번에 처리하기보다 챕터 단위로 끊어 검수하며 완성도를 유지한다.
12. 31:19
    92억 토큰, 어디에 얼마나 썼나 토큰은 이론 파트의 설명과 하네스 정리 과정에서 많이 소모됐고, 캐시가 98%라 실제 비용은 생각보다 덜 들었다. 2시간 45분 분량을 사람 편집자로 맡겼다면 더 비쌌을 수 있으며, 구독자 플랜으로도 충분히 감당 가능한 수준이었다.
13. 34:41
    실패·검수 기준·도구 교체 AI가 초보자가 따라오기 어려운 난이도를 스스로 판단하는 데는 아직 한계가 있어, 너무 어려운 파트는 과감히 삭제한다. 검수 기준은 항상 시청자 이해도에 두고, 도구는 보수적으로 선택하되 macOS 제어는 Codex ChatGPT 쪽이 더 낫고 예술적 연출은 여전히 부족하다고 본다.
14. 39:16
    첫 스텝, 비개발자 범위, 영상 편집자의 미래 비개발자는 무음 구간 삭제, 자막, 컷 편집, 음량 정리 같은 반복 작업부터 AI에 맡기면 효과를 체감하기 쉽다. 편집자의 역할은 단순 작업보다 기획과 검수로 이동할 가능성이 크며, 앞으로는 AI로 양을 늘리고 사람은 미감을 보정하는 구조가 유리하다.

실무 인사이트

• 영상 자동화의 핵심은 '전부 자동화'가 아니라, 사람이 잘하는 판단과 AI가 잘하는 반복 작업을 분리해 병목을 없애는 것이다.
• 모델 한계에 매달리기보다 레퍼런스와 평가 기준을 축적해 두고, 더 좋은 모델이 나오면 갈아타는 전략이 실무 효율이 높다.
• 비개발자라도 편집 경험과 컨텍스트 관리 습관만 있으면, 자연어 기반으로 충분히 개인용 비디오 스튜디오를 만들 수 있다.