Эксперимент. Робот против человека: кто работает лучше в контекстной рекламе?

В феврале 2019 года Яндекс.Директ запустил инструмент, который позволяет сравнить эффективность автоматической стратегии и ручного управления ставками. В Google Ads для этих целей уже довольно давно есть «Проекты и эксперименты». Самое время сравнить, что эффективнее: довериться технологиям машинного обучения или использовать максимальный контроль в «ручном режиме».

alex-knight-2EJCSULRwC8-unsplash.jpg

alex-knight-2EJCSULRwC8-unsplash.jpg

Если компания занимается контекстной рекламой, то рано или поздно у нее возникнет вопрос: как управлять ставками таким образом, чтобы конверсия увеличивалась, а расходы не росли? Что эффективней использовать: одну из автоматических стратегий или продолжать работать в «ручном» режиме? Ведущие платформы размещения контекстной рекламы делают ставку на машинное обучение. Особое внимание уделяется технологиям интеллектуального назначения ставок, в которых машинное обучение используются для оптимизации ставок по конверсиям. Алгоритм способен учитывать сотни сигналов, в том числе: устройство и местоположение, поисковые запросы, время суток и язык интерфейса.

Но так ли это эффективно, как утверждают ведущие рекламные площадки? Отвечают специалисты сервиса Rookee.

Эксперимент «Робот против человека» в Яндекс.Директе

В Директе для разных задач рекламодателей предусмотрены разные стратегии. Под определение интеллектуального управления наиболее подходят две из них:

• средняя цена конверсии,
• средняя рентабельность инвестиций (ROI).
  

Эти стратегии напрямую ориентируются на целевые показатели бизнеса.

Специалисты сервиса Rookee провели эксперимент, сравнив показатели стратегий «Ручного управления ставками» со стратегией «Средняя цена за конверсию» на 10 проектах за месяц работы.

Тест 1. Пример сравнения «Ручного управления ставками» со стратегией «Средняя цена конверсии».

image1.png

image1.png

Результаты:

• Целевая конверсия по проекту 300 р.
  
• Стратегия средняя цена конверсии дала 105 конверсий по цене 282.11 р.
  
• Ручное управление ставками дало 64 конверсии по цене 441 р.

В 8 из 10 случаев «Стратегия средней цены конверсии» показала лучший результат, чем ручное управление ставками.

В 4 из 10 проектов с ручным управлением были относительно близки к целевому СРА.

В 3 из 10 проектов «Стратегия средней цены» не выполнила удержание стоимости конверсии.

Эксперимент «Робот против человека» в Google Ads

Интеллектуальное назначение ставок в Google Ads — это комплекс стратегий, в которых технологии машинного обучения используются для оптимизации ставок по конверсиям или их ценности непосредственно в ходе аукциона.

image3.png

image3.png

Специалисты сервиса Rookee сравнили показатели стратегий «Ручного управления ставками» со стратегией «Целевая цена за конверсию» на 7 проектах за месяц работы.

Тест 2. Пример сравнения «Ручного управления ставками» со стратегией «Целевая цена за конверсию»

image2.png

image2.png

Результаты:

• И автоматическое и ручное управление удержали желаемый CPA 800 р.
• Экспериментальный проект, который управлялся роботом, дал на 53 конверсии больше, чем при ручном управлении.
• Не смотря на то что, робот приводит более дорогие клики, он знает, как сделать количество конверсий больше и достигнуть желаемый СРА!
  

Таблица проектов в эксперименте «Целевая цена за конверсию» в Google Ads и при «ручном» управлении

Результаты:

В 7 из 7 проектов стратегия «Целевая цена за конверсию» показала лучший результат чем при ручном управлении.

В 5 из 7 проектов автоматическая стратегия увеличила количество конверсий со значимым отрывом от «ручного» управления.

В 4 из 7 проектов с автоматизированным управлением робот удержал целевой СРА. При ручном управлении целевой СРА удалось удержать в 3 из 7 проектах.

Вывод

Как показывают вышеописанные примеры, если делиться с рекламными площадками данными о совершаемых конверсиях (нужна грамотно настроенная веб-аналитика с данными о маржинальности), то автоматические стратегии показывают результаты лучше, чем при ручном управлении.

Но, к сожалению, подойдут они не всем. Существенный минус внутренних автоматических стратегий рекламных площадок в том, что прежде чем их подключить и приступить к работе, рекламодателю придется накопить значительный объем статистики. Но есть и хорошая новость, с таким же успехом можно использовать внешние автоматизированные системы оптимизации. Такие как: К50, Alytics, Origami. Многие из них гораздо проще в управлении и либо имеют небольшой входной порог по количеству конверсий, либо вообще не требуют накопления статистики.

Использовать автоматизированные системы в контекстной рекламе сегодня, это как иметь мобильный телефон: просто, удобно, эффективно, странно не пользоваться. Кроме того, управление рекламой требует очень много времени, которое теперь, с использованием автоматизации, может быть потрачено на важные стратегические задачи.