Нейросети

Runway: обзор нейросети для монтажа и видеоэффектов

Runway - нейросеть для видео: генерирует ролики по тексту и фото, меняет стиль отснятого материала и убирает лишнее из кадра. Разбираемся, что она умеет и где спотыкается.

Иллюстрация к статье: Runway: обзор нейросети для монтажа и видеоэффектов

Что это и кому нужно

Runway - американский сервис, который с середины 2020-х развивает нейросети для видео: генерация роликов по тексту и фотографии, монтажные эффекты, замена фона, синхронизация губ персонажа с новой репликой. Работает прямо в браузере, ничего не нужно устанавливать - завели аккаунт, загрузили материал или написали промпт и через несколько минут получили результат.

Ищут его чаще всего по запросу "runway нейросеть", и это, пожалуй, самое точное описание: не редактор в привычном смысле, а инструмент, где значительную часть работы делает модель, а вы задаёте направление и правите то, что она выдала.

Годится сервис тем, кто делает короткие ролики и не может держать в штате оператора, аниматора и монтажёра: блогерам, SMM-специалистам, небольшим рекламным командам, авторам обучающих курсов. Отдельная категория - продавцы на маркетплейсах: статичное фото карточки Runway умеет оживить в короткое видео товара, и здесь сервис логично встаёт рядом с нейросетями для маркетплейсов, которые закрывают фото и описания, а видео добивает то, чего фотография не показывает - как вещь выглядит в движении.

Профессиональным монтажёрам сервис тоже пригождается, но по-другому: как способ быстро закрыть рутину - вырезать объект из кадра, заменить фон, набросать черновую анимацию для аниматика, - а не как замена всему монтажному циклу.

Что умеет

Ядро сервиса - генеративные видео-модели последних поколений, в Runway их называют Gen с постоянно растущим номером версии. На них завязано несколько сценариев работы.

Генерация с нуля и оживление кадра

Text-to-video: описываете сцену словами, получаете короткий клип. Image-to-video: загружаете статичную картинку или фото, и модель достраивает движение - камера едет, персонаж поворачивает голову, дым поднимается. Второй вариант получается предсказуемее первого: когда есть исходный кадр, модели проще держать композицию и не плыть по деталям.

Управление движением и камерой

Motion Brush позволяет закрасить кистью зону в кадре и указать, куда именно ей двигаться, а не оставлять это на волю модели. Отдельно настраиваются виртуальные движения камеры - панорама, наезд, облёт объекта - без штатива и стедикама. Готовые ролики можно собирать под разное соотношение сторон: горизонтальное для ютуба, вертикальное для сторис и шортов.

Монтажные инструменты

  • удаление объектов и людей из кадра с автоматической дорисовкой фона;
  • замена фона без зелёного экрана - сервис сам вычленяет объект по контуру;
  • апскейл видео до более высокого разрешения;
  • замедление и интерполяция кадров для плавного слоу-мо;
  • Act-One - перенос мимики и артикуляции с видео вашего лица на анимированного персонажа, полезно для дубляжа и анимационных роликов.

Отдельно стоит видео-в-видео: загружаете обычную съёмку, описываете стиль текстом, и Runway перекладывает её в другую визуальную эстетику, сохраняя движение и композицию исходника. Из всех функций сервиса эта, пожалуй, самая эффектная в демонстрациях и самая капризная на реальном материале: сложная хореография в кадре, быстрые движения камеры или несколько людей одновременно модель часто путает.

Тарифы и доступ из России

У Runway есть бесплатный план, но он больше похож на пробную версию: скудный запас кредитов на генерацию, который заканчивается за несколько роликов, и водяной знак на результате. Понять, подходит ли сервис под задачу, этого хватает, для регулярной работы - нет.

Платные тарифы устроены через кредиты: чем выше план, тем больше кредитов входит в подписку и тем ниже цена за одну генерацию. Отдельно есть план с фактически неограниченной генерацией в стандартном приоритете очереди - для тех, кто делает видео каждый день, а не раз в неделю. Точные суммы в рублях и долларах приводить бессмысленно: сервис периодически меняет цены и состав планов, актуальные цифры смотрите на сайте перед оплатой.

Из России платёж российской картой не пройдёт - нужна карта, выпущенная за пределами страны, или посредник для оплаты подписки. На момент публикации сайт открывается без VPN, но это может измениться в любой момент, так что рассчитывать на стабильный доступ без запасного варианта не стоит. Если бюджета на подписку нет вовсе, сначала посмотрите подборку бесплатных нейросетей, которые реально работают без оплаты и VPN - среди них попадаются и видео-инструменты с не такими прижимистыми лимитами.

Ограничения и минусы

Первое, с чем вы столкнётесь на практике, - длина ролика. Одна генерация выдаёт несколько секунд видео, редко больше десяти. Собрать из этого минуту связного сюжета можно, но придётся генерировать по кускам и сшивать их отдельно, а каждая попытка тратит кредиты, включая неудачные.

Дальше - предсказуемость. Модель хорошо справляется с одиночным объектом и плавным движением, но путается в руках, мелком тексте на вывесках и сложной физике: вода, ткань, огонь ведут себя правдоподобно далеко не всегда. Устраивающий результат с первого раза выходит нечасто, так что закладывайте не одну попытку, а несколько - и, соответственно, не один потраченный кредит, а несколько.

Ещё одна проблема - консистентность персонажа между разными генерациями. Если нужен один и тот же герой в нескольких сценах с одинаковым лицом, одеждой и пропорциями, Runway такого совпадения не гарантирует: каждый новый клип модель словно рисует заново, с небольшими, но заметными отличиями.

Наконец, скорость и цена связаны напрямую. Генерация не мгновенная, а на загруженных тарифах или в час пик ролик может рендериться несколько минут. Для одного видео это терпимо, для потокового производства контента - уже фактор, который нужно закладывать в план съёмки и в бюджет: чем больше неудачных попыток, тем дороже обходится финальный ролик.

Чем заменить

Прямых конкурентов у Runway хватает, и выбор зависит от того, что важнее - качество картинки, длина ролика или цена.

Google развивает собственную линейку видео-моделей под именем Veo, встроенную в его облачные продукты; при более высоком качестве отдельных кадров модель придирчивее к промпту и не всегда доступна без подписки на смежные сервисы Google - подробнее в обзоре Veo, видеомодели Google. Из остальных вариантов на слуху китайский Kling, который у части пользователей выигрывает по физике движения, Pika с более простым интерфейсом для новичков и Luma Dream Machine, где акцент сделан на кинематографичность освещения.

Если задача - не сгенерировать видео с нуля, а быстро обработать то, что уже отснято: вырезать фон, стабилизировать кадр, ускорить материал, - иногда логичнее и дешевле воспользоваться обычным видеоредактором со встроенными ИИ-функциями, чем платить генеративным кредитом там, где хватит алгоритма попроще.

Обзоры других сервисов - в архиве рубрики: там собраны разборы моделей для текста, изображений и видео, которые действительно можно использовать уже сегодня.

Для разового ролика в соцсети Runway - разумный выбор: результат вы получаете быстро, без навыков монтажа и без покупки лицензий на стоковое видео. Для регулярного производства контента сразу закладывайте бюджет выше базового тарифа и время на то, что модель не с первой попытки выдаст нужный кадр.

Вопросы читателей по теме

Все вопросы

Чем отличается нейросеть от искусственного интеллекта?

спрашивает Дмитрий, Уфа 78 просм.

Дмитрий Волков: Путаница объяснима, потому что термины действительно пересекаются, но по объёму понятий это не одно и то же. Искусственный интеллект - самое широкое понятие, оно означает вообще любую систему, которая имитирует интеллектуальное поведение: принимает решения, распознаёт образы, ведёт диалог. Под это определение подпадают и простые программы на жёстких правилах без единой нейросети внутри, и современные большие…

Как нейросеть создает изображение?

спрашивает Дмитрий, Оренбург 144 просм.

Дмитрий Волков: Большинство современных генераторов изображений - это диффузионные модели, и работают они на первый взгляд контринтуитивно: не рисуют картинку с нуля, а наоборот, учатся убирать шум. При обучении модели показывают реальное изображение, постепенно добавляют к нему случайный шум до тех пор, пока от исходной картинки не останется одна серая рябь, и просят модель на каждом шаге…

Какая нейросеть делает фото по описанию?

спрашивает Екатерина, Ульяновск 145 просм.

Сергей Орлов: Генераторов изображений по тексту сейчас несколько, и выбор зависит от того, что важнее - реалистичность, доступность без VPN или цена. Midjourney и DALL-E через ChatGPT Plus дают самую реалистичную картинку и хорошо понимают сложные описания, но обе платные и не всегда без ограничений доступны из России. Из отечественных сервисов Шедеврум от Яндекса и Kandinsky от…

Как нейросети помогают в повседневных задачах?

спрашивает Игорь, Уфа 237 просм.

Дмитрий Волков: Смотря что вы называете нейросетью. Строго говоря, это математическая модель, которая лежит в основе почти всех современных сервисов ИИ: от переводчиков и голосовых помощников до систем, которые советуют вам следующий фильм. В офисной работе от неё есть польза в трёх конкретных вещах, а не в абстрактных обещаниях. Во-первых, черновая обработка текста: свести длинное письмо в…