Evaling Video Slop — Maor Bril, Character.ai

한 줄 핵심

영상 생성 모델의 성능이 급격히 좋아진 만큼, 이제는 ‘잘 만들기’보다 ‘무엇이 좋은 영상인지를 빠르고 일관되게 평가하는 체계’를 생성 루프 안에 넣는 것이 핵심이라고 설명한다.

시간별 요약

1. 0:01
   영상 생성은 Kling, SeaDance, VEO, Sora 수준으로 급격히 좋아졌지만, 품질을 판단하는 평가는 여전히 사람의 감각에 크게 의존한다. 프레임 단위 지표는 잘 맞는지와 일관성은 보지만, 이야기를 제대로 전달했는지와 같은 본질적 품질은 놓치기 쉽다.
2. 3:00
   좋은 영상 평가는 스토리, 물리 법칙, 캐릭터 일관성, 페이싱, 오디오 싱크처럼 시간축을 가로지르는 축까지 봐야 한다. 이를 위해 느리고 비싼 인간 평가를 대신할 수 있는 반복 가능한 벤치마크와 LLM-as-a-judge 조합이 필요하다.
3. 8:02
   해결책은 복잡한 평가 파이프라인을 빠른 소형 VLM 하나로 압축하되, 단순 점수보다 ‘왜 낮은지’를 설명하게 만드는 것이다. 또한 1~10의 절대 점수보다 A/B 비교처럼 상대 비교가 훨씬 안정적으로 학습되며, 좋은 영상과 나쁜 영상을 의도적으로 만들어 데이터셋을 강화할 수 있다.
4. 11:02
   초기 V1은 자신감 있게 틀렸는데, 그 이유는 품질 대신 영상의 겉모습과 AI 특유의 아티팩트를 학습했기 때문이다. 이를 고치기 위해 실제 영상과 AI 영상을 짝지어 비교하되, 인코딩과 주석 방식을 동일하게 맞춰 AI detector로의 과적합을 피했고, 그 결과 품질 판별 성능이 크게 개선됐다.
5. 13:02
   최종적으로는 고정된 파이프라인보다 툴을 가진 에이전틱 워크플로가 사용자별로 다른 캐릭터·이미지·음성 조합에 더 잘 적응한다. 실무적으로는 평가를 생성 루프에 최대한 가깝게 넣고, 실제로 중요한 축만 점수화하며, 영상은 결국 이야기라는 관점으로 평가해야 한다.

실무 인사이트

• 영상 품질 평가는 절대 점수보다 A/B 상대 비교로 설계해야 사람 간 기준 차이를 줄이고 모델 학습도 안정화된다.
• 평가 지표는 프레임 정합성에 그치지 말고 스토리·물리·페이싱·오디오 싱크처럼 시간축 품질 축을 직접 정의해야 한다.
• 비용과 속도를 고려하면 무거운 인간 평가를 후단에 두기보다, 생성 초기에 빠른 소형 모델로 드리프트를 조기 차단하는 구조가 효율적이다.