Нет универсального способа настраивать рекламу для всех ситуаций и бизнесов. Это касается и настроек, и текстов объявлений, и аудиторий, которым вы хотите показать эти объявления.
Полагаться на интуицию в этом случае точно не стоит. Лучше выяснить на практике, какие настройки кампаний сработают именно для вашего продукта, вашей компании. Без тестирования тут не обойтись. Провести его можно с помощью экспериментов в Яндекс.Директе.
Благодаря этому инструменту вам не придется вручную проводить сплит-тесты, этот процесс Яндекс автоматизирует и делает максимально простым и прозрачным. Как запускать и проводить эксперименты, смотрите в этом руководстве.
В чем помогают эксперименты Яндекс.Директ
Эксперименты – это те же сплит-тесты, только с дополнительными возможностями. То есть тестирование разных комбинаций настроек, плюс к этому вы можете:
- Выяснить, как влияют друг на друга кампании разных типов.
- Посмотреть, как целевые действия на сайте зависят от показов рекламы.
- Сравнить, как работают автостратегии и ручное назначение ставок, и на основании этого решить, какая стратегия больше подойдет.
- Сравнить разные медиапланы (полезная штука для рекламных агентств).
Рекомендуем использовать эксперименты, прежде чем запускать любую новую рекламную кампанию, чтобы убедиться в том, что её нужно запускать в полную силу.
Всё происходит следующим образом. Вы задаете количество и размер (долю) сегментов, а Яндекс случайным образом разделяет вашу аудиторию на эти сегменты.
Ограничение: нельзя проводить эксперименты для рекламы мобильных приложений и медийных кампаний со сделками.
До запуска эксперимента
Учитывайте два момента:
- Лучше для одного эксперимента брать одну гипотезу на проверку, как изменится один параметр. Сразу же решите и сформулируйте, что именно вы хотите проверить.
- Эксперимент есть смысл проводить, если, во-первых, у вас настроены цели в Яндекс.Метрике. И во-вторых, цель, которая важна для эксперимента, набирает от 200 конверсий и больше ежемесячно. Только так вы получите статистически значимые результаты.
Если данных недостаточно, попробуйте взять цель, которая идет выше по воронке продаж и которую пользователи достигают чаще.
3. И еще один момент относительно стратегий: если вы сравниваете ручную и автостратегию, чтобы делать какие-то основательные выводы, нужно, чтобы за время теста на оба варианта израсходовалось одинаковое количество бюджета.
Как запускать эксперимент
Сейчас эксперименты доступны в интерфейсе Яндекс.Директа по умолчанию, не нужно делать запрос на доступ к этой функции.
Она находится в сервисе Яндекс.Аудитории. Перейдите на вкладку «Эксперименты» и кликните «Создать эксперимент» или «Создать первый эксперимент», если пользуетесь этим инструментов впервые.
Далее:
здесь вы заполняете:
- Название эксперимента.
- Номер счетчика Метрики, из которого подтянутся данные о целях. Можно выбрать из выпадающего списка нужный:
Или добавляете нажатием на кнопку:
Можно добавить таким образом несколько счетчиков в один эксперимент.
3. Количество и долю сегментов для тестирования, например:
По умолчанию – два сегмента 50 / 50. По факту они необязательно должны быть равномерными: это может быть и 90 / 10, 70 / 30 и т.д.
При необходимости можно разделить аудиторию более, чем на 2 тестовых сегмента, нажав «Добавить сегмент»:
Как подготовить кампании для тестирования
1. Создайте несколько одинаковых тестовых кампаний.
Быстрее создать одну исходную и скопировать нужное количество раз. Для этого отметьте её галочкой в списке кампаний и выберите действие «Копировать»:
2. Поменяйте статус тестовых кампаний на «Приостановлена».
3. Измените один параметр, который хотите протестировать, в каждой тестовой кампании. Остальные настройки (параметры, объявления и бюджет) оставьте без изменений.
4. Во всех кампаниях добавьте счетчики Метрики, которые вы указали при создании эксперимента.
5. Прикрепите кампании к нужным экспериментам в дополнительных настройках.
При редактировании кампаний в блоке «Эксперименты» нажмите кнопку «Изменить».
Затем в окне настройки экспериментов выберите эксперимент, который ранее создали в Яндекс.Метрике.
Одну кампанию можно одновременно использовать максимум в 5 экспериментах.
6. В каждой тестовой кампании выберите сегмент аудитории, которому будут показываться объявления этой кампании.
Объясним на простом примере. Допустим, у вас 2 сегмента – мужчины и женщины. При создании эксперимента вы задали им доли 45 и 55 соответственно. Если в одной из тестовых кампаний вы выбираете сегмент мужчин, значит, рекламу этой кампании увидят 45% от мужчин из всей аудитории.
Если нужно, установите корректировки ставок для выбранных сегментов. Для этого активируйте опцию и укажите, на какой процент повысить или понизить ставки по рекламной кампании.
Сохраните.
7. Когда всё готово, запустите одновременно все тестовые кампании.
На этом настройка эксперимента завершена. Дальше нужно подождать не менее 2 недель, а лучше месяц, чтобы накопить достаточно статистики для получения достоверных результатов.
Где смотреть результаты эксперимента
Первое – это Мастер отчетов в Яндекс.Директе с данными о расходах. Отметьте следующие столбцы для отображения и выберите условие фильтрации «Эксперименты». Выберите нужный эксперимент.
В итоге важно понять, какое размещение рекламы более рентабельное.
Второе – это стандартный отчет в Яндекс.Метрике, который называется «Директ, эксперименты». Из него вы узнаете данные о конверсиях.
Далее в этом отчете выберите нужный эксперимент и сегмент с кампаниями в Яндекс.Директе, созданными для этого эксперимента.
Перейдите в режим сравнения и выберите цели. Вы увидите примерно такую таблицу:
В режиме сравнения в нем выделяются цветом следующие метрики:
- Просмотры
- Визиты
- Целевые визиты
- Посетители
- Целевые посетители
- Достижения цели
- Достижения цели на посетителя
- Конверсия
- Конверсия посетителей
- Отказы
и некоторые другие.
Что значит тот или иной цвет?
Зелёный – экспериментальный вариант (сегмент) сработал лучше, чем тот, с которым вы его сравниваете, красный – наоборот значительно хуже. Метрики, выделенные серым, по обоим вариантам не отличаются. Во всех трех случаях данных достаточно для оценки результата.
Если данные не выделены, это значит одно из двух:
- Метрику нельзя применять в режиме сравнения.
- Данных пока недостаточно.
Решение: подождите еще, чтобы накопилось больше статистики или поменяйте настройки эксперимента, чтобы быстрее собрать необходимый трафик.
Как видите, Метрика сама определяет, достаточно ли данных для анализа, что значительно облегчает вам работу.
Осталось сопоставить данные по обоим отчетам. Для этого:
- Выберите одинаковые периоды
- Отфильтруйте данные по одному и тому же региону показа.
Также убедитесь, что эксперимент не прерывался на протяжении выбранного периода.
Допустим, результаты такие:
В этом примере при одинаковых затратах сегмент Б принес на 150% больше конверсий, чем А. При этом стоимость достижения цели уменьшилась на 60%. То есть кампания на сегмент Б эффективнее.
Естественно, если данных недостаточно, принимать решение, основываясь на этом результате, не стоит. Однако, как и в любом машинном алгоритме, в Метрике неизбежны погрешности.
Как учитывать погрешность
Реальное значение показателей всегда будет немного отличаться от того, что вы увидите при проведении эксперимента. Погрешности нет только в теории: если бы экспериментальная кампания длилась бесконечно.
В режиме сравнения включите отображение погрешности. Вы увидите, на сколько процентов возможен разброс величины. Соответственно, чем ниже погрешность, тем выше вероятность, что значение метрики истинное, и наоборот.
Также проверять достоверность теста можно с помощью Калькулятора достоверности A/B тестирования. Он позволяет быстро оценивать результаты по нескольким стратегиям назначения ставок и определять самый эффективный набор инструментов и форматов по показателю CPA (стоимости целевого действия).
Введите свои данные в пустые поля:
Здесь нужны:
- Данные по сегментам: размер, расходы, конверсии, клики.
- Целевое p-value (уровень значимости) – степень вашей уверенности в результатах эксперимента. Рекомендуемое значение 80%.
- Максимальный коэффициент жесткости дополнительных инвестиций – во сколько раз вы готовы увеличить инвестиции в рекламу для получения большего числа конверсий.
В результате расчета в последнем столбце появится слово «Да» напротив того сегмента, который эффективнее.
Например:
Или «Нет» – напротив того, который показал хуже результат. Если там будет знак вопроса, между сегментами нет статистически значимой разницы, и определить лучший невозможно. Узнать точную причину этого также почти невозможно.
Когда вы всё проанализируете и сделаете выводы, эксперимент можно завершать, а тестовые кампании все одновременно останавливать. В настройках кампании-победителя, которую вы хотите запускать «на боевую», не забудьте отключить эксперимент.
И напоследок – чек-лист в помощь для запуска эксперимента.
Чек-лист
- Гипотеза сформулирована.
- Счетчик Метрики с целями подключен.
- Эксперимент в Яндекс.Аудиториях создан + тестовые кампании созданы и запущены.
- Эксперимент длится непрерывно.
- Необходимое количество данных собрано.
- а) Метрика показывает более эффективный вариант, либо б) выдает результат, что по эффективности они значительно не отличаются.
- а) Эксперимент завершен, вариант-победитель запущен «на боевую» б) настройки эксперимента изменены и он запущен заново, до получения статистически значимых результатов.
Как видите, для тестирования не нужно использовать навороченные дорогие инструменты или вручную что-то считать. Все за вас сделают инструменты Яндекса.
Высоких вам конверсий!
