HTML Is All Agents Need — James Russo, HeyGen

한 줄 핵심

에이전트가 좋은 영상을 만들려면 새로운 전용 포맷보다 HTML·CSS·JavaScript를 그대로 쓰게 하고, 렌더링과 평가를 정교하게 설계해야 한다는 주장이다.

시간별 요약

1. 0:01
   코딩 에이전트는 제품 제작을 쉽게 만들었지만, 제품 출시를 위한 영상 제작은 여전히 어렵다. HeyGen은 이 간극을 줄이기 위해 에이전트가 바로 활용할 수 있는 영상 캔버스를 만드는 데 집중한다.
2. 2:00
   HTML, CSS, JavaScript는 LLM이 가장 익숙하게 다룰 수 있는 네이티브 언어이므로, 커스텀 DSL이나 JSON보다 더 나은 출력 품질을 기대할 수 있다. Lottie, Rive, Remotion보다도 가장 얇은 HTML 래퍼가 더 잘 작동했고, 핵심은 모델의 언어를 바꾸지 않는 데 있다.
3. 6:00
   Hyperframes는 HTML로 만든 화면을 브라우저에서 그대로 렌더링한 뒤, 시간과 로딩을 프레임 단위로 고정해 결정적인 MP4로 변환한다. 이 방식 덕분에 3.js, SVG, WebGL, WebGPU 같은 브라우저 렌더링 자산을 영상 안으로 자연스럽게 가져올 수 있다.
4. 9:01
   좋은 영상 품질은 프레임워크 자체보다 영상 감각과 맛을 가르치는 스킬, 그리고 지속적인 eval에서 나온다. 웹사이트를 입력받아 브랜드와 디자인을 추출하고, motion 예시를 학습시키며, 마지막에는 사람이 직접 편집할 수 있게 남겨두는 방식이 중요하다.
5. 12:01
   Hyperframes는 오픈소스로 대규모 사용량을 확보했고, Cloud Code, Codex, Cursor 같은 도구와 함께 사용할 수 있다. 다만 모델이 아직 창의적 작업에 약하므로, 코드 투 비디오 benchmark 같은 공통 평가 기준을 만들어 전체 생태계의 하한선을 올리려는 방향이 필요하다.

실무 인사이트

• 에이전트용 콘텐츠 생성은 새로운 포맷을 억지로 만들기보다, 모델이 이미 잘 아는 표현 체계인 HTML 계열로 설계할 때 품질과 편집 가능성이 함께 올라간다.
• 영상 생성 파이프라인은 생성 모델의 성능뿐 아니라 결정적 렌더링, 프레임 제어, eval 체계까지 포함해 설계해야 실제 배포 가능한 결과가 나온다.
• 실무에서는 에이전트가 초안을 만들고 사람이 마지막 품질을 다듬는 human-in-the-loop 구조가 가장 현실적인 운영 방식이다.