Обзор Luma AI: оживляем фото и генерируем видео

Мы периодически пишем о нейросетях, которые работают с изображениями, но сколько уже можно говорить о статических креативах! Сегодня у нас на обзоре сервис, который генерирует видео, — Luma AI. Посмотрим, на что способна нейронка — только мемы создавать или креативы из них тоже получатся неплохие. 

Что умеет Luma AI 

Сервис позиционирует свою модель Dream Machine, как искусственный интеллект, который способен быстро создавать реалистичные видеоролики высокого качества с помощью изображений и текстовых промптов. В отличие от нейросетей, которые используют для архитектуры видеоряда статичные изображения, что потом негативно влияет на их согласованность между собой, модель Luma AI была обучена непосредственно на видеозаписях. Такой способ помогает на выходе получить физически точные и насыщенные кадры.

Что обещает ИИ:

• сверхбыстрое время генерации — 120 кадров за 20 секунд;
• динамичные кадры — сервис способен вместить целую историю в пятисекундный ролик;
• точное взаимодействие генерируемых персонажей с физическим миром;
• разные движения камеры, которые помогут создать плавность, кинематографичность, натуралистичность кадра, чтобы передать нужные для сцены эмоции.

Помимо вышеперечисленных плюсов, Luma AI предупреждает пользователей о текущих лимитах сервиса. Нейросеть пока не умеет работать с отображением текстовых компонентов на изображениях: слова могут отображаться с орфографическими ошибками или будут нечитаемыми. На самом деле это достаточно частая проблема для многих ИИ, особенно если вы пользуетесь ими для улучшения качества изображения, где присутствуют элементы текста. Также есть ошибки в движениях персонажей: созданный вами герой может начать парить в воздухе вместо того, чтобы делать шаги. Деформации с искажением объектов сервису пока также не удалось избежать.

Как работать с Luma AI

У сервиса базовая авторизация с помощью почты Google или Apple. Сразу после прохождения регистрации Luma AI даст вам подсказку для будущей генерации — введите в текстовое поле «‎Camera»‎ для получения более плавного движения камеры, а также используйте дополнительные подсказки «Move», «‎Orbit», «‎Push».

Для большего понимания, как работать с нейросетью, рекомендуем сперва перейти в пункт меню «API».

Здесь вы можете найти дополнительную информацию о том, на что еще способна Luma AI:

• создание видео из статичного изображения;
• использование начальных и конечных ключевых кадров;
• возможность «продлить» видеозапись;
• создание зацикленного видеоряда;
• работа над соотношением сторон объектов.

На небольших примерах от сервиса можно подсмотреть промпты, которые помогут с будущей генерацией контента.

Вернемся к генерации видео. У вас есть возможность выбрать, как именно будет происходить генерация — с помощью текстового промта или сочетания изображения и текстового запроса. У сервиса есть гайд с подсказками, который можно открыть, нажав на кнопку «Prompt Guide». 

Рекомендации Luma AI для преображения текста в видео 

1. Используйте расширенные подсказки от нейросети. Если у вас достаточно простой запрос для ИИ вроде «a doll swimming in the ocean» — вы можете поставить галочку напротив «Enhance prompt», и Dream Machine сгенерирует дополнительное описание. Функция «Loop» поможет вам зациклить анимацию.
2. Если результат не понравился, стоит убрать дополнительную опцию и самостоятельно описать желаемую сцену с действием, которое будет происходить на видео. К примеру: In a dark, noir style, a young woman sits on a bench in a park, surrounded by tree leaves, early autumn outside. She wears a brown dress, a beige coat, and holds a book in her hands.
3. Используйте дополнительные описания для:
• обстановки и фона — beautiful sunrise in the forest; 
• действия и движения — polar bear swims, the waves scatter in all directions;
• характеристики описываемого объекта — dolphin with cap, with smooth skin texture;
• движения камеры — an FPV drone shot, camera push in и пр.

Также в Luma AI есть возможность генерировать видео с помощью текстового промпта и изображения. Вы можете загрузить вспомогательную картинку формата PNG, JPEG либо JPG. Лучше всего подойдет изображение, где в центре композиции находится один объект.

Рекомендации Luma AI для преображения текста и изображения в видео

1. Используйте функцию «Enhance prompt» и добавьте описание желаемой сцены. При загрузке изображения с автомобилем допишите: a blue car driving through the desert. Также следует добавить типы движений для анимации — dance, drive, walk, jump и т. д.
2. Опять же, если вас не удовлетворил результат, отключите «Enhance prompt» и напишите подробный текстовый запрос. Опишите объект, который находится на изображении и какие действия он должен делать в сцене, чем подробнее — тем лучше будет результат.
3. Укажите, как должен двигаться описываемый вами объект, а также не забудьте и про окружающую сцену. К примеру: a cat is walking down the street, yellow leaves are falling from the trees around him, it's autumn outside.

Генерация видео может занять 120 секунд, но очереди случаются не только в поликлиниках, но и на сайтах нейросетей. В таких случаях создание анимации может затянуться на полчаса и даже больше. У нас, к примеру, выскакивала надпись: «В данный момент мы на пределе своих возможностей, попробуйте еще раз позже или обновите для более быстрой генерации»:

После того как ваше видео сгенерировано, оно попадает во вкладку «Your creations». Там можно посмотреть, что в итоге получилось, скачать видео или продлить его — сгенерированное видео длится всего 5 секунд и можно добавить еще 5, дополнительно написав промпт по кнопке «Extend»:

Что можно сгенерировать в Luma AI

Мы воспользовались промптом на скриншоте выше, который предложила сама нейросеть, и вот что получилось:  

Второй промпт мы решили составить на русском языке, чтобы проверить, как сработает нейросеть. «Плюшевый медведь в солнцезащитных очках играет на электрогитаре, танцует и движется по джунглям перед большим красивым водопадом» выглядит так:  

Также можно анимировать мемы:  

Ценовая политика Luma AI

Для бесплатного использования сервиса доступно 30 генераций видео в месяц с наличием водяного знака, без возможности коммерческого использования и стандартным приоритетом. Также есть ограничение, которое не позволит создать более 10 видеозаписей в день.

За $9,99 вы сможете генерировать 70 видео в месяц, получить высокий приоритет, но все равно для коммерции полученный результат использовать нельзя. За $29,99 уже 150 генераций в месяц, с высоким приоритетом и разрешением на коммерческое использование (водяной знак отсутствует). За $64,99 и $99,99 у вас 310 и 480 генераций в месяц соответственно, наивысший приоритет, разрешение на коммерческое использование и отсутствие водяного знака.

Вывод

Нейросеть достаточно интересная и многообещающая — конечно, ей далеко до созданий рекламных роликов, но сделать неплохую анимацию для креативов или просто посмеяться с друзьями с любимых мемов вполне реально.