В сети появляется все больше нейросетей, которые обучены создавать видео. С их помощью можно генерировать максимально реалистичные ролики и анимацию. Один из новыхинструментов, сразу полюбившихся пользователям – нейросеть Sora, разработанная компанией Open AI. Искусственный интеллект в ней работает по той же технологии, что и в Dall-E 3: здесь каждый кадр имеет подробное описание. За счёт этого ИИ выдает более точные результаты. Пока нейросеть находится на стадии тестирования, с ней работают профессиональные художники, видеомонтажеры и дизайнеры. Из статьи вы узнаете, как работает нейросеть Sora и какие результаты в ней можно получить.
Что такое Sora
Sora – нейросеть, которая обучалась на сотнях настоящих видеороликов. Во время генерации она берет из памяти случайное видео и выдает кадры, соответствующие запросу. Она создаёт медиафайлы длительностью до 1 минуты, по текстовым запросам, картинкам и видео. Результаты получаются четкими и реалистичными. Посмотреть примеры генераций и узнать техническую информацию можно на официальном сайте разработчика или YouTube.
Искусственный интеллект в Sora может создавать анимацию по изображениям. Кроме того, нейросеть умеет работать с готовым видео: расширять его, добавлять кадры, персонажей, детали. Здесь не нужно придумывать сложные промпты и вводить дополнительные значения, в большинстве случаев, нужный результат получается с первого раза за счет того, что Sora понимает даже простые описания. Как и в DALLE 3, в Sora пользовательские промты дорабатываются ChatGPT в своеобразные мини-сценарии, что позволяет искусственному интеллекту создавать более проработанные и интересные видео.
Возможности нейросети Sora
Новая модель ИИ создает сцены с разными видами движения, генерирует нескольких персонажей одновременно и точно передает желаемый фон, прописанный в промпте. В нейросети Sora вы можете получить:
- Реалистичное видео. В отличие от многих конкурентов, Sora создаёт видео, максимально приближенное к снятому, а не отрисованному. В большинстве случаев результат практически невозможно отличить от профессиональной съемки.
- Анимированную картинку. Нейросеть Sora умеет создавать анимацию по изображению или текстовому запросу. Разработчики выложили в общий доступ примеры таких генераций в виде 3D реализма в духе Pixar.
- Консистентное нейровидео. Это видео, на котором объекты, персонажи, детали, остаются неизменными при смене ракурса или когда они временно пропадают из кадра. Это помогает избежать эффекта мерцания и добиться более четкой и стабильной картинки.
- Обновленный видеоролик. Нейросеть Sora обновляет уже созданное видео: добавляет в него новые кадры, персонажей, меняет фон, сокращает или наоборот делает его длиннее.
Несмотря на указанные преимущества, новая модель нейросети может выдать не совсем то, что вы ожидаете. Она не всегда понимает причинно-следственные связи и действие законов физики. Например, персонаж может откусить кусок от яблока, а на нем не останутся следы укуса. Твердый предмет в видео может выглядеть мягким и хрупким, например стул гнется, когда человек несет его.
Иногда нейросеть Sora путает заданное направление движения персонажа. В промпте может быть задано движение влево, а на готовом видео он двигается вправо. То же самое происходит при выборе определенной траектории камеры. При наличии нескольких объектов, людей или животных, в течение видео их количество может меняться как в меньшую, так и в большую сторону.
Заключение
Новая нейросеть Sora – усовершенствованная модель искусственного интеллекта, которая умеет создавать видео и 3D анимацию, максимально приближенные к реальности. В результате ее работы получается картинка высокого качества без эффекта мерцания. ИИ от Open Ai может обновлять уже сгенерированные или личные видео пользователя, добавляя новые кадры, убирая лишние детали, расширяя или сокращая его.
На данный момент в результатах работы нейросети периодически встречаются глюки и другие недостатки. Пока Sora находится на стадии тестирования и доработки, точная дата выхода открытой беты пока не оглашается. Следить за новостями о нейросети и смотреть примеры генераций можно на официальных страницах разработчика в Тик Токе, Твиттере, сообществе фанатов ИИ на Reddit, официальном сайте Open AI.
