Изображение
Conversion.im
Сегодня

Seedance 2.0: что умеет новая нейросеть и где она ошибается

Аватар Команда ConversionКоманда Conversion
24

ByteDance выпустила обновленную версию своей нейросети для генерации видео — Seedance 2.0. В этом материале разобрали, чем она отличается от предыдущей, какие баги остались и как использовать инструмент в арбитражных креативах.

  1. Что изменилось в Seedance 2.0
  2. Где Seedance 2.0 ошибается
  3. Какие есть ограничения у Seedance 2.0
  4. Как использовать Seedance 2.0 в креативах
  5. Как писать промпты для Seedance 2.0
  6. Коротко: что умеет новая нейросеть Seedance 2.0

Что изменилось в Seedance 2.0

В новой версии разработчики исправили главные проблемы прошлого поколения: 

  • Реалистичная физика объектов. Модель научилась корректно отображать физику в сложных сценах. Например, в сценах с парным фигурным катанием Seedance 2.0 правильно генерирует синхронные прыжки, вращение в воздухе и приземление на лед без физических глюков, которые были в версии 1.5. Жидкости и ткани теперь подчиняются законам физики, а фигуры не проваливаются друг в друга.

Как поменялась нейросеть Seedance | Изображение 1

  • Стабильность персонажей. Раньше при генерации длинных сцен лицо героя могло плыть или меняться между кадрами. Seedance 2.0 решил эту проблему: модель сохраняет черты лица, одежду и аксессуары на протяжении всего ролика. 

Что умеет нейросеть Seedance | Изображение 2

Что умеет ИИ Seedance | Изображение 3

  • Плавное движение камеры. Модель научилась планировать движение камеры: автоматические зумы, панорамы, облеты вокруг объекта работают без рывков и скачков.
  • Стабильные простые движения. Seedance 1.5 даже в простых движениях вроде «человек идет по улице» могла выдавать ошибки — ноги двигались неестественно, руки исчезали. Теперь базовые движения работают корректно. 

Что умеет Seedance | Изображение 4

  • Звук совпадает с картинкой. Фоновая музыка, звуковые эффекты и голос персонажа накладываются автоматически — все синхронизировано с тем, что происходит на экране. 

Где Seedance 2.0 ошибается

Несмотря на улучшения, у модели еще есть проблемы, которые стоит учитывать при работе: 

  • Ошибки в физике при генерации по тексту. Если создавать видео только по текстовому описанию без исходных кадров, модель допускает ошибки в физике объектов. С исходными изображениями результат намного стабильнее.
  • Внешность персонажа может меняться. В длинных роликах с разными планами лицо или одежда героя могут измениться при смене ракурса. 
  • Плохо справляется с русским языком. Короткие фразы модель выдает без ошибок, но с длинной речью на русском не справляется. При попытке сгенерировать длинный диалог на русском, модель может сама добавить кривые субтитры вместо нормальной озвучки. 
  • Не справляется с кириллицей. Текст на русском языке в кадре — вывески, экраны, этикетки — превращается в бессмысленные символы.м
Ошибки Seedance | Изображение 5
Источник: vc.ru
  • Смешивает одежду. Может смешать одежду с исходника и заданный костюм. 
Ошибки нейросети Seedance | Изображение 6
Источник: vc.ru
Что не умеет Seedance | Изображение 7
Источник: vc.ru
  • Ошибки в сложной анатомии. Например, при переплетении пальцев при рукопожатии случаются сбои.

Какие есть ограничения у Seedance 2.0

Помимо недостатков, у модели есть серьезные ограничения, связанные с возможностями использования: 

1. Цензура. Seedance 2.0 блокирует многие запросы, связанные с брендами, знаменитостями и интеллектуальной собственностью. Модель отказывается генерировать контент, если распознает чужие логотипы или узнаваемые лица. 

2. Блокировка реальных лиц. Модель не принимает реальные фотографии людей как референсы для генерации видео. Если загрузить фото реального человека, система отклонит запрос. Это сделано для предотвращения дипфейков и несанкционированного использования чужого изображения. Обойти ограничение можно: использовать AI-сгенерированные портреты или иллюстрации вместо реального фото.

Ограничения нейросети Seedance | Изображение 8
Источник: youtube.com
Ограничения Seedance 2.0 | Изображение 9
Источник: youtube.com

3. Ошибки при высокой нагрузке. При пиковых нагрузках на серверы генерация может не завершиться и выдать ошибку. 

Как использовать Seedance 2.0 в креативах

Несмотря на все недостатки, нейросеть может облегчить создание контента под арбитраж трафика в разных вертикалях.

Нутра и товарка

Модель хорошо генерирует бытовые сцены и демонстрации:

  • UGC-формат. Нейросеть собирает видео в виде пользовательского контента: девушка открывает упаковку, наносит крем, делится впечатлением. Выглядит как нативная съемка на телефон. 
  • Демонстрация продукта. Можно показать товар в действии — как работает, как выглядит в руках, как правильно применяется.
  • Бытовые ситуации. Сцены на кухне, в ванной, в машине — все, что создает узнаваемый контекст для товара.
  • До и после. Seedance 2.0 умеет сохранять внешность персонажа между кадрами, поэтому сравнение результатов работает корректно.
Seedance для товарки и нутры | Изображение 10
Источник: youtube.com

Гемблинг и беттинг

Здесь нейросеть помогает создавать контент под инфоповоды и эмоциональные ролики:

  • Лайфстайл-сцены. Атмосферные видео с выигрышами, эмоциями, празднованием, но без показа конкретных брендов. 
  • Реакции. Персонаж смотрит на экран, радуется, удивляется.
  • Сторителлинг. Короткие истории на 10–15 секунд: путь героя от проблемы к решению.
  • Ролики под спортивные инфоповоды. Матчи, турниры, чемпионаты, но без логотипов команд и узнаваемых лиц спортсменов. 
Seedance для беттинга и гемблинга | Изображение 11
Источник: youtube.com

AI и SaaS

В этой вертикали Seedance 2.0 подойдет для сценариев использования продукта: 

  • Человек работает с интерфейсом. Пишет текст, генерирует картинку, собирает презентацию. 
  • Работа с клиентами. Персонаж отвечает на сообщение, проводит видеозвонок, показывает результат.
  • Демонстрация фич. Как сервис решает конкретную задачу пользователя. 

Дейтинг

Здесь нейросеть закрывает задачу создания нативных сцен: 

  • Сцены общения. Парень и девушка в кафе, на прогулке, в переписке — узнаваемые ситуации для ЦА.
  • Реакции. Радость, флирт — то, что цепляет в первые секунды.
  • Короткие истории. Мини-сюжеты на 10–15 секунд: знакомство, свидание, неожиданный поворот. 
Seedance для дейтинга | Изображение 12
Источник: reddit.com

Важно! Не забывайте, что использовать фото реальных людей нельзя, а текст и надписи лучше добавлять на этапе монтажа — в CapCut или другом редакторе. 

Один удачный креатив можно быстро масштабировать под разные ГЕО, площадки и форматы:

  • Хук в первые секунды. Через промпт задается другое начало ролика — другая ситуация, эмоция, ракурс.
  • Разные герои. Загружаются разные референсы персонажей.
  • Фон и локация. Через промпт меняется окружение: квартира, офис, улица, другая страна.
  • Язык озвучки. Модель поддерживает 8 языков.
  • Темп и динамика. Через промпт задается скорость действий и движения камеры.
  • Формат под площадки. Вертикальный кадр для TikTok, Reels, Shorts или горизонтальный для YouTube. 

Как писать промпты для Seedance 2.0

Качество видео зависит напрямую от того, насколько точно вы объяснили модели, что вам нужно. Seedance 2.0 работает не как обычный текстовый генератор — это мультимодальная система, которая понимает текст, изображение, видео и аудио одновременно. 

Что указывать в текстовом промпте

Если генерируете видео без референсов, в промпте нужно указать: 

  • Кто в кадре. Внешность, одежда, возраст, пол персонажа.
  • Где происходит сцена. Локация, время суток, освещение, обстановка.
  • Что делает персонаж. Указывайте максимально конкретные действия. Не «человек делает что-то», а «поднимает правую руку, поворачивает голову влево». 
  • Какая нужна эмоция. Радость, удивление, злость, спокойствие. 
  • Движения камеры. Статичный кадр, зум, панорама, облет объекта.
  • Описывайте освещение и атмосферу. «Дневной свет из окна», «Студийное освещение».
  • Стиль видео. Кинематографичный, документальный, мультяшный, реалистичный.
  • Формат кадра. Вертикальный, горизонтальный, квадратный. 
  • Длительность. 5, 10, 15 секунд. 

Пример промпта без референсов: 

«Молодая женщина, блондинка 28 лет стоит у зеркала в ванной комнате при дневном свете из окна. Она держит в левой руке баночку с кремом, медленно наносит его на щеку правой рукой. Смотрит в зеркало и улыбается. Камера статична, задний план. Эмоция — спокойствие, уверенность. Стиль реалистичный, как домашняя съемка на телефон. Формат вертикальный 9:16, длительность 10 секунд».

Этот промпт описывает все ключевые параметры. Модель понимает такие детальные инструкции и генерирует видео точно по заданию. 

Что указывать в промпте с референсами

Seedance 2.0 позволяет загружать до 9 изображений, 3 видео и 3 аудиофайла и через промпт указывать, какую роль играет каждый файл.

Вы загружаете: 

  • изображение 1 — ИИ-сгенерированный портрет мужчины 30 лет;
  • видео 1 — короткий ролик, где человек радуется, вскидывая руки вверх.

Текстом прописываете, что изображение 1 берется как исходник внешности персонажа, а из видео 1 берутся эмоции и движения. 

Пример промпта с референсами: 

«Изображение 1 как внешность персонажа, из видео 1 использовать эмоцию и движение рук. Мужчина сидит за столом перед ноутбуком в темной комнате, освещенной только экраном. Он смотрит на экран, затем резко вскидывает руки вверх, кричит от радости, улыбается. Камера делает быстрый зум на лицо. Эмоции — эйфория, восторг. Стиль — кинематографичный с драматическим освещением. Формат вертикальный 9:16, длительность 5 секунд».

Этот промпт берет внешность с картинки, эмоцию и движение из видео, но создает новую сцену с другим контекстом: темная комната, ноутбук. Так можно быстро делать разные варианты одного рабочего креатива. 

Коротко: что умеет новая нейросеть Seedance 2.0

Что такое Seedance 2.0. Нейросеть от ByteDance, которая генерирует видео до 15 секунд в разрешении 2К по тексту, картинке, референсному видео или аудио. Поддерживает 8 языков и позволяет комбинировать до 9 изображений, 3 видео и 3 аудио в одном промпте.

Что улучшилось в версии 2.0. Модель стала лучше отображать физику объектов по сравнению с версией 1.5, сохраняет внешность персонажей между кадрами, плавно двигает камеру и синхронизирует звук с картинкой. Базовые движения работают без глюков. 

Где модель ошибается. При генерации только по тексту результат менее стабильный — лучше загружать референсные картинки. В длинных роликах внешность персонажа может меняться при смене ракурса. С русским языком справляется плохо: короткие фразы озвучивает нормально, длинные — нет. Кириллицу в кадре не рендерит — текст превращается в бессмысленные символы. 

Ограничения Seedance 2.0. Модель блокирует запросы с логотипами брендов и узнаваемыми лицами. Не принимает реальные фотографии людей как референсы — только AI-сгенерированные портреты и иллюстрации. При высокой нагрузке на серверы генерация может прерваться. 

Чем нейросеть полезна в арбитраже. Один базовый ролик можно адаптировать под разные ГЕО и форматы площадок. 

Как правильно писать промпты. Указывать максимально конкретные действия, освещение, эмоции, стиль, формат и длительность. Можно загружать референсы и через промпт задавать их роли: внешность с одной картинки, движения из видео, музыка из аудиофайла. Текст и надписи нужно добавлять на этапе монтажа — модель не умеет их рендерить. 

Вам была полезна эта статья?
0
0
Интернет-медиа про маркетинг и арбитраж трафика
Похожие статьи
Seedance 2.0: как делать креативы для арбитража трафика | Conversion