Video Has No Memory. Here's How We Built One. — James Le, TwelveLabs

한 줄 핵심

비디오는 프레임의 묶음이 아니라 시간·모달리티·연속성을 가진 공간이므로, 검색을 넘어 재사용 가능한 메모리 레이어와 컨텍스트 그래프를 설계해야 진짜 비디오 지능이 가능해진다.

시간별 요약

1. 0:01
   비디오는 이미지나 자막을 단순히 합친 데이터가 아니라 시간적 연속성과 공간·모달리티 관계가 의미를 만드는 데이터다. 그래서 기존 영상 AI처럼 프레임 단위로 쪼개서 다루면 사건의 맥락을 잃고, 비디오 전용 메모리 레이어가 필요해진다.
2. 3:01
   영상 메모리가 어려운 이유는 시간성, 멀티모달성, 밀도, 모호성, 비용이라는 다섯 가지 특성 때문이다. 따라서 같은 장면이라도 다른 파일·각도·시즌·연도에 걸친 연속성을 유지하면서 근거까지 추적할 수 있어야 한다.
3. 5:00
   Twelve Labs는 semantic chunks, Marengo, 특수 temporal context store, Pegasus로 이어지는 스택을 통해 비디오를 구조화한다. 이 구조는 단순 검색이 아니라 요약, 비교, 메타데이터 생성, 구조화된 지식 반환까지 가능한 비디오 코퍼스 메모리를 목표로 한다.
4. 7:01
   비디오 메모리는 검색과 달리 장면 후보를 찾는 데서 끝나지 않고, 시간과 소스 전체를 가로지르는 구조화된 지식을 돌려줘야 한다. 이를 위해 비디오 컬렉션을 moment, appearance, entity, relationship, corpus context를 잇는 context graph로 보고, 질문 유형에 따라 그래프의 다른 층을 탐색하게 만든다.
5. 9:01
   효과적인 비디오 메모리 레이어는 한 번 수집해 여러 번 추론하고, 답이 아니라 primitive를 저장하며, 모든 주장을 타임스탬프로 근거화하고, 사용 목적에 따라 기억 방식을 조정하며, API로 조합 가능하게 만들어야 한다. 여기에 더해 video worker는 계획, 검색, 도구 사용, 운영 한계, 출력 계약, 평가까지 포함한 하네스 위에서 동작해야 한다.
6. 13:00
   데모에서는 2022 World Cup 영상에서 근접한 슛과 실제 골, Lionel Messi 추적처럼 스포츠 이해가 가능했고, 교차로 CCTV에서는 차량·보행자 분류와 위험 상황 감지가 가능했다. 광고 영상에서는 로고, 하드 컷, 고강도 액션, 슬로모션 구간을 찾아 광고 삽입 지점을 추천하는 식으로 실무 활용 가능성을 보여줬다.

실무 인사이트

• 비디오 AI를 만들 때는 먼저 프레임 추출보다 어떤 장면·인물·관계를 영속적으로 저장할지 정해야 재사용성이 높아진다.
• 실무 적용에서는 검색 정확도보다 타임스탬프 근거와 구조화된 출력이 중요하므로, evidence-grounded 응답 포맷을 기본 계약으로 두는 것이 유리하다.
• 스포츠, 보안, 광고처럼 목적이 다른 워크플로는 같은 영상이라도 필요한 기억 단위가 다르므로, 메모리 스키마를 용도별로 구성 가능하게 설계해야 한다.