Тектонический сдвиг в видеопроизводстве: в России создали видео - симбиоз классических съемок и AI-технологий | Креатив

Слово “симбиоз” означает близкое сообщество живых организмов, принадлежащих к разным биологическим видам. В данном случае оно, кажется, наиболее подходящее: человеческий интеллект объединился с искусственным, чтобы создать законченное осмысленное произведение. (Генеративные сети по своему устройству обычно, напротив, создают во многом случайные изображения).

Рекламный ролик для дальневосточного автомобильного портала Дром был создан креативным агентством Miguelivanov при участии Colabalab и Sabatovsky, а снят в Алма-Аты, Казахстан.

Новый проект находит ответы на актуальные вопросы, которые волнуют публику. Насколько AI полезен и насколько опасен? Как и в чем он может помочь, а в чем на него рассчитывать бессмысленно или пока бессмысленно?

Комментирует автор ролика, креативный директор и режиссер Мигель Иванов: “В первую очередь этот проект показывает, что сегодня клиенту не обязательно иметь в распоряжении внушительные суммы, чтобы получить эпично выглядящий ролик. Еще в прошлом году на производство подобного видео нужно было закладывать несколько месяцев и довольно немаленький бюджет, то сегодня многие клиенты могут без проблем себе это позволить. Этот тектонический сдвиг в видеопроизводстве стал возможен только благодаря AI. Так, например, на нашем проекте не было художников, только операторы нейросетей. Возможно, в будущем их назовут художниками нейросетей, но рисовать в традиционном понимании этого слова эти люди могут вообще не уметь, они “рисуют” словами.”

На первый взгляд, для популярного российского автомобильного портала, которым является Дром, это рискованный проект. Но маркетинг-директор Алена Потрываева отзывается о новом опыте с большим энтузиазмом: “Мы одни из лидеров в своей категории, и это определяет наш подход в том числе к нашей коммуникации. Мы хотим видеть Дром в рекламе, которая находится в авангарде новых технологий - точно так же, как и наш сервис”.

По творческому замыслу, в новом ролике Дром герой путешествует по вселенной приложения в поисках машины мечты. Визуальные эффекты, сгенерированные в ролике с помощью AI, призваны донести идею, что с помощью передовых технологических решений портала герой видит больше предложений, получает больше информации об авто и в итоге избегает сомнительных сделок. “За машиной на Дром!” - этот простой рекламный посыл превратился в целое визуальное приключение.

Снятый вживую ролик после обработки AI стал частично анимационным и несколько напоминает мультфильм аниме. Выбранный жанр обусловлен уважением к историческому региону происхождения бренда Дром, жители которого традиционно отличаются симпатией к жанрам аниме и k-pop.

В качестве ориентира для стилизации видеоэффектов авторы выбрали классику: произведения Хайао Миядзаки и Макото Синкая, которые любимы аудиторией всех возрастов. А для героя ролика, который по сюжету должен был постоянно “прыгать” из физического тела в анимационную картинку, была разработана особая хореография, имитирующая полную свободу героя в пространстве, как это было бы в настоящем аниме. На первом этапе производства ролика все движения героя снимались вживую, причем в некоторых сценах с эффектными прыжками участвовал каскадер.

Ландшафты в ролике тоже получились особенные: реальный мегаполис превратился в волшебный мир японского мультфильма. Это стало возможным благодаря эклектичному сочетанию современного города и горного пейзажа: изначально непривычная глазу картинка, пройдя механизмы AI, стала похожа на фантазийный концепт-арт.

Работа с генеративными сетями, несмотря на необходимость постоянно подгонять эффекты относительно друг друга и под творческие задачи, заняла всего 2 недели. В ближайшем будущем этот процесс технически может стать еще проще.

Рассказывает Владислав Сабатовский, оператор и специалист по видеоэффектам с использованием нейросетей: “Сейчас многие опасаются, что AI автоматически заменит ручной труд художников и аниматоров. Но случайная генерация, к сожалению - или, возможно, для кого-то к счастью, - не в состоянии выдать тот точный и последовательный комплекс сообщений, которые необходимо заложить в произведение, особенно если это видео. Ведь в художественном произведении не должно быть ничего лишнего или случайного, всё подчиняется творческому замыслу и работает только на него. Поэтому в данном случае потребовалось две недели одновременной работы с пятью нейросетями, у каждой из которых свой функционал”.

Работая с ИИ, команда использовала классический алгоритм Stable diffusion и несколько других нейронных сетей. ControlNet создала карту глубины и обеспечила управление пространством. Алгоритм обнаружения граней объектов HED выполнил предсказание от изображения к изображению и позволил сохранить края и текстуры всех объектов - и движущихся, и статичных, кадр за кадром и с учетом движения камеры. Чтобы обеспечить последовательную анимацию, были объединены различные модели ControlNet и EbSynth. Кадры при этом обрабатывались по частям: они были разделены на значимые сегменты, каждый из которых получил свою интерпретацию. Это позволило создать целую галерею изображений, из которых отбирали лучшие для финального монтажа.

Чтобы видео казалось человеческому глазу еще более удивительным, в нем присутствует рассинхрон скоростей камеры и сгенерированных объектов: 25 кадров в секунду для камеры против 15 кадров в секунду для объектов, созданных или обработанных AI.

В то время как видеоэффекты в ролике разрабатывались с помощью последних технологий, сюжетная арка истории и сториборд были произведены аналоговым способом - с помощью карандаша и бумаги.

Рассказывает Мигель Иванов: “ В данном случае сошлись мой опыт работы в рекламе, режиссерская практика и увлеченность новыми технологиями. Я заранее знал, что конкретно получится здорово снять, что потребуется заместить AI-эффектами, и какое настроение я конкретно хочу получить. Ну а сториборд, в котором все это должно быть зафиксировано, я люблю рисовать от руки, несмотря на то, что фанат нейросетей. Это привносит в работу человеческое тепло, которого пока не хватает миру AI”.

“Сейчас многие задаются вопросом, что вообще остается делать рекламному агентству, если все может придумать и нарисовать AI? - добавляет Дарья Шерстобитова, креативный директор Miguelivanov. - На этот вопрос, скорее всего, каждый ответит по-своему. Лично нам повезло иметь среди своих клиентов 12 топовых российских techs, часть из которых зашли к нам как стартапы, а вышли с лейблом “N.1” на логошоте. Возможно, мы единственное агентство, в рамках сотрудничества с которым столько стартапов перешли в категорию абсолютных лидеров рынка. Соответственно, мы исследовали сотни сценариев, десятки концепций, наблюдали за поведением потребителей - причем в развитии - в шести различных рыночных сегментах, чтобы в итоге определить для себя самые эффективные инструменты рекламы для цифровых брендов. Сложность не только в том, что в этой отрасли постоянно меняется контекст, еще и реклама для techs во многом работает иначе. После десятилетия интенсивной работы с подобными данными, конечно, любой написанный AI сценарий кажется экстремально наивным. Так что мы не питаем иллюзий: для того, чтобы найти путь к сердцу человека, нужен человек. А вот коллаб человека и AI в визуальном отношении - очевидно, потрясающая во всех смыслах этого слова неизбежность.”