Нейросети

Практический эксперимент: как автор создал мультфильм по сказке "Колосок" с помощью открытых ИИ-моделей

Разработчик на практике проверил возможности современных открытых инструментов для генерации видео, создав короткий мультфильм по мотивам советской сказки.

Иллюстрация к новости: Практический эксперимент: как автор создал мультфильм по сказке "Колосок" с помощью открытых ИИ-моделей

Автор технического блога на Habr создал мультфильм, используя только открытые ИИ-инструменты. В основе лежала советская сказка "Колосок". Целью было проверить, способны ли современные нейросети передать эстетику и спокойную атмосферу классической анимации. Эксперимент наглядно продемонстрировал, как сегодня можно создавать видеоконтент, не обладая профессиональными навыками и не имея большого бюджета.

Весь процесс был разделен на четкие этапы, для каждого из которых использовалась своя модель. Сценарий и диалоги были написаны с помощью языковых моделей. Визуальную часть - персонажей и сцены - сгенерировали в Stable Diffusion. Потребовалось много времени на подбор промптов, чтобы добиться узнаваемого "советского" стиля и сохранить консистентность персонажей от кадра к кадру. Это оказалось самой сложной частью работы. Озвучку создали и синхронизировали с видео, используя нейросетевые TTS-модели. Все отдельные элементы были собраны в финальное видео с помощью монтажа.

Эксперимент четко выявил как возможности, так и серьезные ограничения открытых ИИ-инструментов. С одной стороны, автору удалось создать законченный продукт, что подтверждает доступность технологии для энтузиастов. С другой - процесс потребовал огромного количества ручной работы: подбор промптов, постобработка изображений, сборка. Итоговый результат пока заметно уступает профессиональной анимации по качеству деталей и согласованности элементов. Ключевые проблемы - поддержание единого стиля персонажей и плавности анимации.

Этот опыт показывает, что текущие технологии уже пригодны для создания прототипов и простого контента, но для производства качественного продукта необходимы либо более продвинутые (часто коммерческие и закрытые) модели, либо активное и глубокое участие человека-художника на каждом этапе.

Для индустрии подобные проекты служат важным индикатором прогресса в области мультимодальных моделей и снижения порога входа в создание контента. Они демонстрируют растущий спрос на инструменты, которые объединят генерацию изображений, видео, звука и текста в единый и удобный рабочий процесс. Для независимых авторов, небольших студий или образовательных проектов это открывает возможность производить визуальный контент с гораздо меньшими ресурсами. Однако фундаментальные проблемы генеративного ИИ - тонкий контроль над художественным стилем и повествовательной целостностью - пока не решены. Дальнейшее развитие, вероятно, будет идти по пути создания более интегрированных платформ, которые упростят процесс и существенно улучшат согласованность конечного результата. Статья с подробным описанием этого эксперимента была опубликована на Habr.

Вопросы читателей по теме

Все вопросы

Чем отличается нейросеть от искусственного интеллекта?

спрашивает Дмитрий, Уфа 54 просм.

Дмитрий Волков: Путаница объяснима, потому что термины действительно пересекаются, но по объёму понятий это не одно и то же. Искусственный интеллект - самое широкое понятие, оно означает вообще любую систему, которая имитирует интеллектуальное поведение: принимает решения, распознаёт образы, ведёт диалог. Под это определение подпадают и простые программы на жёстких правилах без единой нейросети внутри, и современные большие…

Как нейросеть создает изображение?

спрашивает Дмитрий, Оренбург 113 просм.

Дмитрий Волков: Большинство современных генераторов изображений - это диффузионные модели, и работают они на первый взгляд контринтуитивно: не рисуют картинку с нуля, а наоборот, учатся убирать шум. При обучении модели показывают реальное изображение, постепенно добавляют к нему случайный шум до тех пор, пока от исходной картинки не останется одна серая рябь, и просят модель на каждом шаге…

Какая нейросеть делает фото по описанию?

спрашивает Екатерина, Ульяновск 133 просм.

Сергей Орлов: Генераторов изображений по тексту сейчас несколько, и выбор зависит от того, что важнее - реалистичность, доступность без VPN или цена. Midjourney и DALL-E через ChatGPT Plus дают самую реалистичную картинку и хорошо понимают сложные описания, но обе платные и не всегда без ограничений доступны из России. Из отечественных сервисов Шедеврум от Яндекса и Kandinsky от…

Как нейросети помогают в повседневных задачах?

спрашивает Игорь, Уфа 223 просм.

Дмитрий Волков: Смотря что вы называете нейросетью. Строго говоря, это математическая модель, которая лежит в основе почти всех современных сервисов ИИ: от переводчиков и голосовых помощников до систем, которые советуют вам следующий фильм. В офисной работе от неё есть польза в трёх конкретных вещах, а не в абстрактных обещаниях. Во-первых, черновая обработка текста: свести длинное письмо в…