Modality Misalignment and Originality Attribution in Short-Form Video — Aditya Gautam, Meta

한 줄 핵심

100M+ 규모의 숏폼 영상에서 모달리티 불일치와 비원본 콘텐츠를 잡기 위해, 다중 에이전트·전문화된 VLM·하이브리드 검색·지속적 평가와 최적화를 결합한 운영 아키텍처가 필요하다는 내용이다.

시간별 요약

1. 0:00
   100M+ 규모 숏폼 영상에서의 두 가지 문제 숏폼 표면에서 다뤄야 하는 핵심 문제는 모달리티 불일치와 비원본 콘텐츠 탐지이며, 이를 대규모에서 처리하려면 다중 에이전트, 전문화된 VLM, 평가, 최적화까지 포함한 전체 파이프라인 설계가 필요하다.
2. 1:20
   적대적이고 다국어이며 드리프트가 심한 지저분한 데이터 실제 영상 데이터는 적대적 시도, 다국어 오버레이, 빠른 분포 변화, 명확한 정답 부재를 동시에 안고 있어 일반적인 정밀도 중심 접근만으로는 문제를 풀기 어렵다.
3. 2:03
   단일 영상 내부의 모달리티 불일치 영상 전체가 아니라 특정 구간에 갑자기 광고성·정치성·이상 행동이 끼어드는 경우가 핵심이며, 프레임과 클립 단위로 이상 구간을 찾아내는 세밀한 비디오 이해가 필요하다.
4. 3:01
   비원본 콘텐츠와 단일 에이전트의 한계 생성·변형 도구 때문에 복제 콘텐츠가 쉽게 늘어나고 원본 출처 추적과 크레딧 귀속이 어려워졌으며, 검색·이해·추론이 모두 필요한 복합 문제라 단일 에이전트로는 충분하지 않다.
5. 4:22
   Reviewer, Perceiver, Retriever 중앙 오케스트레이터인 reviewer가 일을 조율하고, perceiver가 영상을 클립 단위로 분해해 구조화하며, retriever가 유사 콘텐츠와 관련 신호를 모아 재검토를 돕는 분업 구조가 제시된다.
6. 5:31
   시간적 분석 후 inverted, vector, graph 저장소에 색인 perceiver가 뽑은 타임스탬프, OCR, 태그, 임베딩, 엔티티를 바탕으로 reviewer가 시간적 변화를 해석하고, retriever는 이를 inverted index, vector database, graph database에 적절히 색인해 유사 클립과 엔티티를 찾아낸다.
7. 9:37
   Reviewer에 실시간 사용자 신호를 추가 오프라인 콘텐츠 신호만으로는 부족하므로 조회, 좋아요/싫어요, 신고, 댓글 감성 같은 실시간 사용자 반응을 함께 반영해 영상의 실제 수용 양상과 품질 변화를 판단한다.
8. 10:45
   전문화된 VLM의 사전학습과 지시 미세조정 범용 VLM은 깨끗한 웹 데이터에 최적화되어 있어 사내 도메인에는 맞지 않으므로, 도메인 데이터로 사전학습하고 JSON 스키마 형태의 출력에 맞게 instruction tuning을 수행해야 한다.
9. 13:28
   인간 검토 큐가 포함된 생산 샘플 기반 DPO 생산 환경에서 수집한 샘플을 LLM-as-a-judge와 인간 검토 큐로 다시 평가해, 실패 원인이 추론 문제인지 도구 호출 문제인지 분리하고 그 결과를 바탕으로 모델을 지속적으로 재학습한다.
10. 16:05
    확장 가능하게 만드는 distillation과 quantization 외부에 노출되지 않는 내부 특화 문제이므로 frontier급 모델을 그대로 쓰기보다 off-policy와 on-policy distillation, 그리고 quantization을 적용해 성능과 추론 비용 사이의 최적점을 찾아야 한다.
11. 17:13
    노드, 추론 예산, 드리프트를 보는 전체론적 평가 정답 여부만 보는 것이 아니라 각 노드의 성능, 검색 품질, 추론 품질, 토큰 비용, 지연시간, 오류 지점, 그리고 LLM-as-a-judge의 드리프트까지 함께 봐야 시스템 전체의 건강도를 판단할 수 있다.
12. 19:28
    공간·시간 축 축소, 캐싱, 메타데이터 가지치기 비슷한 프레임을 압축하는 공간·시간 축 축소, 높은 유사도 콘텐츠를 건너뛰는 캐싱, 신뢰도 높은 창작자나 주제를 미리 걸러내는 메타데이터 가지치기로 대규모 처리 비용을 크게 줄일 수 있다.
13. 20:35
    핵심 정리 문제는 필요한 만큼 잘게 분해하고, 비용과 ROI에 맞게 적응적으로 최적화하며, 평가와 운영 모니터링을 지속해야만 대규모 숏폼 영상 이해 시스템이 장기적으로 유지된다는 점이다.

실무 인사이트

• 대규모 영상 이해는 모델 성능보다 먼저 문제 분해와 역할 분담이 성패를 좌우하므로, 오케스트레이터·퍼시버·리트리버처럼 책임 경계를 명확히 나누는 구조가 효과적이다.
• 오프라인 데이터 신호만으로는 한계가 크기 때문에, 실시간 사용자 반응과 드리프트 감지를 평가 루프에 포함해야 운영 중 품질 저하를 빠르게 잡을 수 있다.
• 비용이 큰 비디오 작업일수록 distilled VLM, quantization, 캐싱, 메타데이터 필터링처럼 '처리하지 않을 대상을 먼저 줄이는' 최적화가 가장 큰 ROI를 만든다.