AI 영상은 왜 10분을 못 버티나 — Gemini가 감독이 된 이유

3분 읽기 AI
AI영상VeoGemini구글리서치멀티에이전트AI

AI 영상 클립 하나는 기가 막히게 뽑는데, 10분짜리 스토리를 만들면 주인공 옷이 장면마다 바뀌고 소품이 순간이동합니다. 구글이 해법을 내놨는데, 더 좋은 비디오 모델이 아니라 “감독”을 붙이는 거였어요.

Gemini + Veo 멀티에이전트 AI 영상 프레임워크 커버

문제: 긴 AI 영상은 왜 무너지는가

지금의 비디오 생성 모델은 몇 초짜리 포토리얼 클립은 잘 만듭니다. 문제는 그걸 이야기로 엮는 순간 터집니다. 구글 리서치는 실패를 두 가지로 분류했어요.

첫째, 피처 드리프트. 캐릭터 옷, 소품 위치, 방 구조가 컷마다 슬쩍 바뀝니다. 둘째, 콘텐츠 붕괴. 이야기가 앞으로 나아가지 못하고 제자리에서 맴돕니다.

더 골치 아픈 건 원인 추적입니다. 앞 단계의 작은 프롬프트 오류가 뒤쪽 모든 클립을 오염시켜요. 키프레임 하나가 삐끗하면 이후 모션이 전부 일그러지고, 캐릭터 설명이 조금만 부실해도 컷마다 얼굴이 바뀝니다. 최종본이 망가졌을 때 “어느 단계의 어느 결정이 문제였나”를 찾아내는 것, 구글은 이걸 크레딧 할당 문제라고 부릅니다.

피처 드리프트: 컷마다 바뀌는 캐릭터와 소품 문제

해법: Gemini는 두뇌, Veo는 손

구글 리서치가 공개한 건 4개 시스템으로 이루어진 멀티에이전트 프레임워크입니다. 구조는 단순해요. 비디오 모델(Veo)이 그림을 그리고, 언어 모델(Gemini)이 기획·기억·심사를 맡는 겁니다. 모델 자체를 키우는 게 아니라, 모델 위에 “제작 파이프라인”을 올린 거예요.

네 시스템의 역할은 이렇습니다.

  • AI Video Co-Director: 총괄 감독. 창작 전략, 서사 구조, 시각 톤의 조합을 밴딧 알고리즘으로 탐색합니다. 그 아래 프리프로덕션 에이전트가 스토리보드를 짜고, 키프레임 에이전트가 캐릭터·소품·장소를 확정하고, 비디오 에이전트가 숏별 모션을 만들고, 오디오 에이전트가 내레이션·대사·음악을 붙입니다. 완성된 컷은 멀티모달 심사를 받고, 점수가 감독에게 돌아가 다음 시도를 조정합니다.
  • CANVAS: 콘티뉴이티 슈퍼바이저. 캐릭터, 장소, 소품의 상태를 시각 메모리로 계속 기록합니다. 박물관 강도 예시에서 도둑의 모자, 보석, 전시실 구조를 컷이 바뀌어도 유지했어요. 일반 파이프라인은 소품과 방 배치를 바꿔버렸고, 경쟁 베이스라인은 캐릭터 디테일을 통째로 잃었습니다. 배경 연속성 21.6% 개선이 보고됐습니다.
  • A²RD: 장기 합성 엔진. 영상을 한 세그먼트씩 만들면서 검색-합성-정제-업데이트 루프를 돕니다. 핵심은 두 가지 모드의 전환이에요. 외삽은 새 액션을 넣어 이야기를 전진시키고, 내삽은 기존 캐릭터·소품·환경 앵커로 되돌아와 붙잡습니다. 파인튜닝 없이 10분 연속 영상을 목표로 합니다.
  • VQQA: 품질 검수반. 결과물을 보고 스스로 질문을 던집니다. “주인공 재킷이 레퍼런스 프레임과 일치하는가?” 같은 식이죠. 비전 언어 모델의 답변을 프롬프트 수정 지시로 바꿔 다음 생성에 반영합니다. 연구진은 이걸 시맨틱 그래디언트라고 부릅니다. 수정하다 보면 과잉 교정이 생기는데, 모든 후보를 보관해 두었다가 원본 프롬프트와 가장 잘 맞는 최고 점수를 고르는 방식으로 막습니다. 예시로는 딱딱한 직육면체를 부풀린 풍선처럼 고치고, 컷 사이에 악기가 바뀌는 사고를 막았습니다.

CANVAS 연속성 슈퍼바이저로 해결된 일관된 장면

성적표

  • AI Video Co-Director: 광고 영상 벤치마크 GenAD-Bench에서 품질 점수 81.4
  • CANVAS: 배경 연속성 21.6% 개선
  • VQQA: T2V-CompBench에서 11.57%p, VBench2에서 8.43%p 상승
  • A²RD: 10분 길이 목표, 장편 연속성 벤치마크에서 캐릭터·환경 일관성 우위 벤치마크도 세 개를 새로 만들었습니다. GenAD-Bench(가상 브랜드 50개, 시나리오 400개), HardContinuityBench(씬 재등장 사이 긴 간격), LVBench-C(핵심 자산이 10개 세그먼트 이상 사라졌다가 복귀하는 120개 시나리오).

현실 체크

아직 제품이 아닙니다. 논문은 arXiv에 공개됐고, 보도에 따르면 Co-Director와 A²RD 코드는 공개, CANVAS는 곧 공개 예정입니다. 호출할 수 있는 API도, 다운로드할 수 있는 패키지도 없어요. 그리고 벤치마크를 구글이 직접 만들고 직접 평가했으니 독립 검증은 아직 열린 과제입니다.

비용도 생각해야 합니다. 반복 생성, 멀티모달 심사, 후보 전체 보관은 추론 호출과 지연 시간, 저장 공간을 더 많이 소모합니다. 실제 도입하려면 “언제 수정을 멈출 것인가”라는 정지 규칙이 필요합니다.

그래서 뭐가 달라지나

AI 영상의 병목이 “화질”에서 “연속성”으로 넘어가고 있다는 선언에 가깝습니다. 클립 한 장의 아름다움 경쟁은 끝났고, 이제 10분을 버티는 서사의 싸움이 시작된 거예요.

그리고 이 구조에서 제미나이 4 아르곤 같은 모델이 들어가면 감독이 통째로 강해집니다. 100만 토큰 출력 한도는 수십 개 숏의 콘티와 캐릭터 바이블을 한 번에 들고 있는 감독을 의미하니까요. Omni 1.1이 40초 확장을 제품으로 내놓은 것과는 다른 차원의 이야기입니다. 이건 10분을 노리는 연구예요.

다음 AI 영화제의 카메라는 감독 에이전트가 들고 있을 겁니다.