Камера, мотор, начали!
Сбер представил Kandinsky Video — первую в России нейросеть для генерации полноценного видео. Нейросеть Сбера умеет создавать 8-секундные видеоролики по самым разным темам запросов
Сбер представил нейросеть Kandinsky Video — первую в России генеративную модель для создания полноценных видеороликов по текстовому описанию. Модель генерирует видеоряд продолжительностью до восьми секунд с частотой 30 кадров в секунду. Об этом в ходе международной конференции AI Journey рассказал первый заместитель Председателя Правления Сбербанка Александр Ведяхин.
Архитектура Kandinsky Video состоит из двух ключевых блоков: первый отвечает за создание ключевых кадров, из которых складывается структура сюжета видео, а второй — за генерацию интерполяционных кадров, которые позволяют достичь плавности движений в финальном видео. В основе двух блоков лежит новая модель синтеза изображений по текстовым описаниям Kandinsky 3.0.
Формат сгенерированного видео представляет собой непрерывную сцену с движением как объекта, так и фона. Именно это отличает видеоролики, синтезированные моделью Kandinsky Video, от анимационных видеороликов, в которых динамика достигается за счёт моделирования пролёта камеры относительно статичной сцены. Нейросеть создаёт видеоролики с разрешением 512 х 512 пикселей и различным соотношением сторон. Модель обучена на датасете из более чем 300 тыс. пар «текст — видео». Генерация видео занимает до трёх минут.
Александр Ведяхин, первый заместитель Председателя Правления Сбербанка:
«Недавно мы обучили Kandinsky создавать анимационные видео по текстовому описанию, а уже сегодня представляем модель совершенно другого уровня — первую в России модель по генерации полноценных видеороликов по тексту. Это важный вклад в развитие российских генеративных нейросетей. У пользователей появится ещё больше возможностей для креатива и реализации своих творческих задумок любой направленности. Люди смогут создавать уникальные видеоролики абсолютно бесплатно. Наша модель, как и большинство других в линейке Сбера, будет доступна в opensource. Мы верим, что искусственный интеллект сможет открыть перед людьми новые супервозможности и создать инструменты, которыми они будут пользоваться для решения своих задач».
Ранее у активных пользователей Kandinsky 2.2 в тестовом режиме появилась возможность создания анимационных видеороликов. По одному запросу можно создать видео длиной в четыре секунды с выбранным эффектом анимации, с частотой 24 кадра в секунду и разрешением 640 х 640 пикселей. Пользователи нейросети Kandinsky 3.0 также могут создавать видеоролики по текстовому описанию в режиме анимации.
Нейросеть разработали и обучили исследователи Sber AI при партнёрской поддержке учёных из Института искусственного интеллекта AIRI на объединённом датасете Sber AI и компании SberDevices. В апреле 2023 года сервис на базе нейросети Kandinsky 2.1, стал самым быстрорастущим в мире. Он набрал один миллион уникальных пользователей всего за четыре дня после выхода.
22.11.2023
Еще статьи по теме
- Помнить - значит возрождать: Сбер открыл выставку картин "Возрождённая коллекция", созданных нейросетью Kandinsky - 25.04.2024
- Нейросети в деле: ТВ-3 наградили за промо-кампанию с использованием ИИ - 16.04.2024
- "Заводской стимпанк": как нейросети помогли нам создать сказочный календарь с драконом - 08.04.2024
- Сбер и СберМаркетинг запустили HR-кампанию с использованием AI-симулятора - 05.04.2024
- Сбер представил новую версию модели Kandinsky - 04.04.2024
- Клиенты Сбера могут оформить Дебетовые СберКарты с героями "Союзмультфильма" - 21.02.2024
- Сувенирная продукция 2024 по версии нейросети - 19.02.2024
- Рекламное агентство ICONICOLOR разработало концепции упаковки 2024 - 24.01.2024
- Более 200 млн изображений создали свыше 12 млн пользователей с помощью нейросети Сбера Kandinsky в 2023 году - 18.01.2024
- Особенный банк для особенных клиентов - 26.12.2023
- все статьи по теме...
Комментарии
Написать комментарий