Эксперимент. Робот против человека: кто работает лучше в контекстной рекламе?

В феврале 2019 года Яндекс.Директ запустил инструмент, который позволяет сравнить эффективность автоматической стратегии и ручного управления ставками. В Google Ads для этих целей уже довольно давно есть «Проекты и эксперименты». Самое время сравнить, что эффективнее: довериться технологиям машинного обучения или использовать максимальный контроль в «ручном режиме».

Если компания занимается контекстной рекламой, то рано или поздно у нее возникнет вопрос: как управлять ставками таким образом, чтобы конверсия увеличивалась, а расходы не росли? Что эффективней использовать: одну из автоматических стратегий или продолжать работать в «ручном» режиме? Ведущие платформы размещения контекстной рекламы делают ставку на машинное обучение. Особое внимание уделяется технологиям интеллектуального назначения ставок, в которых машинное обучение используются для оптимизации ставок по конверсиям. Алгоритм способен учитывать сотни сигналов, в том числе: устройство и местоположение, поисковые запросы, время суток и язык интерфейса.

Но так ли это эффективно, как утверждают ведущие рекламные площадки? Отвечают специалисты сервиса Rookee.

Эксперимент «Робот против человека» в Яндекс.Директе

В Директе для разных задач рекламодателей предусмотрены разные стратегии. Под определение интеллектуального управления наиболее подходят две из них:

средняя цена конверсии,
средняя рентабельность инвестиций (ROI).

Эти стратегии напрямую ориентируются на целевые показатели бизнеса.

Специалисты сервиса Rookee провели эксперимент, сравнив показатели стратегий «Ручного управления ставками» со стратегией «Средняя цена за конверсию» на 10 проектах за месяц работы.

Тест 1. Пример сравнения «Ручного управления ставками» со стратегией «Средняя цена конверсии».

Результаты:

Целевая конверсия по проекту 300 р.
Стратегия средняя цена конверсии дала 105 конверсий по цене 282.11 р.
Ручное управление ставками дало 64 конверсии по цене 441 р.

Таблица проектов в эксперименте «Средняя цена конверсии» в Яндекс.Директе и при «ручном» управлении

Проект	Конверсии при ручном управлении ставками	Конверсии при стратегии «Целевая цена конверсии»	Дельта конверсий	KPI по CPA	CPA при ручном управлении	Дельта	CPA по стратегии	Дельта
Проект 1	64	105	41	300	441	−141	282	18
Проект 2	35	41	6	1000	1532	−532	1055	−55
Проект 3	102	118	16	500	491	9	505	−5
Проект 4	47	62	15	800	1420	−620	912	−112
Проект 5	120	139	19	450	506	−56	323	127
Проект 6	28	27	−1	1000	1365	−365	1270	−270
Проект 7	49	31	−18	1500	1477	23	980	520
Проект 8	89	109	20	500	498	2	256	244
Проект 9	32	56	24	1000	1236	−236	856	144
Проект 10	42	31	−11	1500	1809	−309	1203	297

В 8 из 10 случаев «Стратегия средней цены конверсии» показала лучший результат, чем ручное управление ставками.

В 4 из 10 проектов с ручным управлением были относительно близки к целевому СРА.

В 3 из 10 проектов «Стратегия средней цены» не выполнила удержание стоимости конверсии.

Эксперимент «Робот против человека» в Google Ads

Интеллектуальное назначение ставок в Google Ads — это комплекс стратегий, в которых технологии машинного обучения используются для оптимизации ставок по конверсиям или их ценности непосредственно в ходе аукциона.

Специалисты сервиса Rookee сравнили показатели стратегий «Ручного управления ставками» со стратегией «Целевая цена за конверсию» на 7 проектах за месяц работы.

Тест 2. Пример сравнения «Ручного управления ставками» со стратегией «Целевая цена за конверсию»

Результаты:

И автоматическое и ручное управление удержали желаемый CPA 800 р.
Экспериментальный проект, который управлялся роботом, дал на 53 конверсии больше, чем при ручном управлении.
Не смотря на то что, робот приводит более дорогие клики, он знает, как сделать количество конверсий больше и достигнуть желаемый СРА!

Таблица проектов в эксперименте «Целевая цена за конверсию» в Google Ads и при «ручном» управлении

Проект	Конверсии при ручном управлении ставками	Конверсии при стратегии «Целевая цена конверсии»	Дельта конверсий	Целевой CPA	CPA при ручном управлении	Дельта	CPA при автоматическом управлении	Дельта
1	36	89	53	800	688	112	772	28
2	39	68	29	1000	1011	−11	923	77
3	29	30	1	1500	1850	−350	1621	−121
4	45	81	36	900	590	310	489	411
5	100	130	30	550	556	−6	398	152
6	35	39	4	900	987	−87	953	−53
7	56	78	22	700	692	8	715	−15

Результаты:

В 7 из 7 проектов стратегия «Целевая цена за конверсию» показала лучший результат чем при ручном управлении.

В 5 из 7 проектов автоматическая стратегия увеличила количество конверсий со значимым отрывом от «ручного» управления.

В 4 из 7 проектов с автоматизированным управлением робот удержал целевой СРА. При ручном управлении целевой СРА удалось удержать в 3 из 7 проектах.

Вывод

Как показывают вышеописанные примеры, если делиться с рекламными площадками данными о совершаемых конверсиях (нужна грамотно настроенная веб-аналитика с данными о маржинальности), то автоматические стратегии показывают результаты лучше, чем при ручном управлении.

Но, к сожалению, подойдут они не всем. Существенный минус внутренних автоматических стратегий рекламных площадок в том, что прежде чем их подключить и приступить к работе, рекламодателю придется накопить значительный объем статистики. Но есть и хорошая новость, с таким же успехом можно использовать внешние автоматизированные системы оптимизации. Такие как: К50, Alytics, Origami. Многие из них гораздо проще в управлении и либо имеют небольшой входной порог по количеству конверсий, либо вообще не требуют накопления статистики.

Использовать автоматизированные системы в контекстной рекламе сегодня, это как иметь мобильный телефон: просто, удобно, эффективно, странно не пользоваться. Кроме того, управление рекламой требует очень много времени, которое теперь, с использованием автоматизации, может быть потрачено на важные стратегические задачи.