OpenMontage — агентная система видеопроизводства с открытым кодом

OpenMontage — «первая в мире открытая агентная система видеопроизводства». Проект от calesthio превращает обычный AI-кодинг-ассистент (Claude Code, Cursor, Copilot, Windsurf, Codex) в полноценную видеостудию: вы описываете словами, какой ролик нужен, а агент берёт на себя исследование темы, сценарий, генерацию ассетов, монтаж и финальный рендер. Репозиторий набрал больше 55 тысяч звёзд, распространяется под лицензией AGPL-3.0 и написан в основном на Python с Node.js-движками композиции (Remotion, HyperFrames).

Ключевая идея

Большинство AI-видеоинструментов выдают один клип по промпту. OpenMontage даёт сквозной продакшен-пайплайн — тот же структурированный процесс, по которому работает настоящая продакшен-команда, но автоматизированный агентом. Причём система умеет не только «оживлять статичные картинки»: документальный пайплайн собирает корпус из бесплатных стоковых и архивных роликов (Archive.org, NASA, Wikimedia Commons), семантически их ранжирует и монтирует настоящее видео из реальных кадров.

Можно начать и с референса: вставьте YouTube-видео, Short, Reel или TikTok — агент разберёт транскрипт, темп, сцены и стиль, а взамен вернёт 2-3 дифференцированные концепции, честный план по инструментам, оценку стоимости и образец до полного продакшена.

В readme приведены примеры работ: 60-секундный анимационный короткометражный фильм «THE LAST BANANA» (6 сгенерированных клипов, озвучка, субтитры — итоговая цена $1.33), вертикальный фильм «Reimagine Your Universe» (~$4) и другие.

Архитектура agent-first

В OpenMontage нет кодового оркестратора — оркестратором выступает сам AI-ассистент. Вся логика живёт в читаемых файлах инструкций:

research -> proposal -> script -> scene_plan -> assets -> edit -> compose

На каждом этапе агент читает YAML-манифест пайплайна и «director skill» — markdown-файл, который учит, как исполнять конкретную стадию. Затем вызывает Python-инструменты, проходит самопроверку, сохраняет состояние в чекпоинты (с логом решений и снимком расходов) и запрашивает одобрение человека в точках креативных решений.

Знания разложены на три слоя:

Пайплайны

Каждый пайплайн — полный производственный цикл от идеи до готового видео:

Веб-исследование — полноценная стадия: до написания сценария агент выполняет 15-25+ поисков по YouTube, Reddit, Hacker News и академическим источникам, а затем цитирует всё в структурированном research brief.

Работа без единого API-ключа

Платные ключи не обязательны — make setup из коробки даёт:

Рантайм композиции выбирается на этапе предложения (Remotion — для data-driven объяснялок, HyperFrames — для моушн-графики и анимации персонажей) и фиксируется. Есть и локальная генерация видео на своей GPU: make install-gpu подключает модели WAN 2.1/2.2, Hunyuan, CogVideo или LTX-Video бесплатно.

Провайдеры и выбор с оценкой

При желании подключаются 60+ интеграций: видео — Kling, Google Veo 3.1, Runway Gen-4, Seedance, Grok Imagine, MiniMax, HeyGen; изображения — FLUX, Google Imagen, GPT Image 2, Seedream, Nano Banana 2, Recraft; речь — ElevenLabs, OpenAI TTS, Google TTS (700+ голосов); музыка — Suno, ElevenLabs Music. Все ключи в .env опциональны: «больше ключей — больше инструментов».

Выбор провайдера для каждой задачи идёт через движок скоринга по 7 измерениям: task fit (30%), output quality (20%), control (15%), reliability (15%), cost efficiency (10%), latency (5%), continuity (5%). Победитель и все альтернативы попадают в аудит-лог решений. Вендорской привязки нет — провайдеры меняются свободно.

Бюджет тоже под контролем: оценка расходов до выполнения, резервирование, сверка после, режимы observe/warn/cap, подтверждение действий дороже порога (по умолчанию $0.50) и общий лимит (по умолчанию $10).

Backlot — живой сторборд

Чат показывает, что агент сказал, а локальная доска Backlot — что продакшен реально делает: стадии загораются, сценарий ложится на страницу, карточки сцен «мерцают» во время генерации ассетов, а каждое решение по провайдерам и каждый потраченный доллар видны на доске. Сторборд стал настоящим гейтом одобрения: генерация ассетов ставится на паузу на покадровом контактном листе, и вы утверждаете визуал до рендера. Запуск:

python -m backlot open                  # library of all projects
python -m backlot open <project-id>     # live board of one production

Гейты качества

Продакшен здесь устроен как настоящая инженерия:

• Human approval gates — proposal, script, scene plan, assets и публикация ждут вашего подтверждения; чекпоинт-райтер отклоняет «завершённую» стадию без записанного одобрения.
• Pre-compose validation — блокирует рендер, если нарушено «обещание доставки» (например, «motion-led» видео на 80% из статичных картинок).
• Post-render self-review — ffprobe-валидация, извлечение кадров, анализ уровней аудио, проверка субтитров; не прошедший проверку ролик не показывается.
• Slideshow risk scoring — 6-мерный анализ против «анимированного PowerPoint».

Быстрый старт

Требуются Python 3.10+, FFmpeg, Node.js 18+ и любой AI-ассистент, умеющий читать файлы и запускать код:

git clone https://github.com/calesthio/OpenMontage.git
cd OpenMontage
make setup

Дальше — просто промпт в ассистенте:

"Make a 60-second animated explainer about how neural networks learn"

"Make a 75-second documentary montage about city life in the rain.
Use real footage only, no narration, elegiac tone, with music."

Поддерживаются все основные ассистенты — для каждого есть свой конфиг-файл: CLAUDE.md (Claude Code), CURSOR.md (Cursor), COPILOT.md (Copilot), CODEX.md (Codex), .windsurfrules (Windsurf). Все они ссылаются на общий AGENT_GUIDE.md. В планах — поддержка локальных LLM через Ollama и LM Studio.

Встроенные профили вывода покрывают YouTube (16:9 и 4K), Shorts, Reels, TikTok, LinkedIn, Instagram Feed (1:1) и кинематографичный 21:9. Сайт проекта — openmontage.video, примеры работ с полными промптами и стоимостью публикуются на YouTube-канале @OpenMontage.