align=
Приветствую Вас! Меня зовут Прудников Артём, я - ведущий специалист отдела проектов сервиса ROOKEE. Сегодня я хочу рассказать вам немного о проекте «Биржа авторских стратегий» руководителем которого я являюсь.
С введения механизма закрытых стратегий прошло уже достаточно много времени, и накопился целый ряд вопросов. Основной из них - как оценивать эффективность закрытой стратегии?
Авторов много, и каждый, естественно, нахваливает свои разработки, но это всего лишь слова, которым далеко не всегда можно доверять. Решать этот вопрос, конечно, пришлось нам - команде разработчиков сервиса ROOKEE, недаром мы так удачно дебютировали на РОМИП, в тесном сотрудничестве с признанными seo-специалистами и партнерами. В данной статье я постараюсь рассказать, как мы подошли к решению данной проблемы.
Итак, перед нами стояла задача: спроектировать инструмент, который позволил бы объективно оценить эффективность каждой конкретной стратегии, и позволил бы сравнивать их друг с другом, то есть фактически, выбирать лучшее из многих. Но что мы подразумеваем под эффективностью? Можно привести много факторов, назовем некоторые из них:
- Позапросная отработка (процент запросов в топе). Не дает понятия, насколько это были конкурентные запросы, применялись ли они для новых или старых сайтов, насколько давно продвигаются и т.д.
- Побюджетная отработка (процент бюджетов на тех запросах, что в топе). То же самое что позапросная, плюс непонятно, правильно ли тратится бюджет.
- Число запросов, выведенных в ТОП. Опять же, сильно зависит от типа продвигаемых запросов, да и тогда стратегии продвижения по нк будут всегда выигрывать у вк.
Список можно продолжать еще очень долго, но ни один общепринятый фактор не удовлетворил нас, как оценка эффективности стратегии.
После консультации с аналитиками было принято решение вывести новую функцию, которая учитывала бы все факторы, так или иначе влияющие на эффективность. И как можно заметить по нашей бирже - мы этого добились!
А теперь немного подробнее о самой функции. Понятно, что сравнивать теплое с мягким несерьезно - настоящее сравнение двух стратегий можно устроить только на той совокупности запросов и сайтов, для которых применима и та и другая. То есть, если одна стратегия продвигает все НК запросы, а вторая - НК, но только двухсловники, то имеет смысл сравнивать их эффективность только на участке двухсловных НК. На каждом новом «окне» значение функции для каждой стратегии будет разное. Стандартно пользователю предлагается выбрать эффективную стратегию именно по его конкретному запросу и для его сайта.
Вторая возникшая идея - оценка должна быть не просто на конкретный момент времени, а с учетом динамики позиций. Потому что если по одной стратегии начали продвигать запросы, уже стоящие в топе, а по другой поднимать сайт из ниоткуда, но первая не показывает положительной динамики, а на второй запросы очень стремительно летят в топ - то это однозначно нужно учитывать. При этом, чем ближе к топу, тем выше оценка по динамике - ведь гораздо важнее попасть с 11 на 5 место, чем с 999 на 100.
Третье - динамику нужно рассчитывать постоянно, но на каждом отрезке нужно выдавать новые конкретные значения. Поэтому было введено понятие «скользящее окно». На основании значений различных факторов для каждого дня в окне выводятся локальные показатели эффективности которые в дальнейшем усредняются с учетом позиций и потраченных средств за каждый конкретный день, это позволяет максимально точно оценить эффективность, отбросив при этом дивиантные отклонения. Усредненная оценка эффективности за период времени образует тренд, который и позволяет определить реальную эффективность стратегии.
Четвертое - нужно учитывать бюджет. Если человек начинает двигать «пластиковые окна» не с рекомендуемым бюджетом, а со 100 р/месяц, то есть ли смысл оценивать такие результаты? Поэтому в оценке эффективности почти не учитываются те плохие результаты, которые были получены при несоответствии бюджета рекомендуемому.
Пятое - оценивать работоспособность стратегии по ее работе на 1-2 проектах не очень серьезно. Как показали наши исследования расчет оценки эффективности достаточно адекватно отражает реальную эффективность сценария, если они получены по выборке из 11 и более проектов со среднестатическим количеством запросов. В связи с этим было принято решение о введении в математическую модель учета эффективности дополнительного параметра корректирующего оценки в соответствии с вероятностной оценкой уровня доверия.
Шестое - в процессе разработки системы пришло понимание методов накрутки, позволяющих искусственно завысить оценки какого либо сценария, что разумеется, могло в дальнейшем ввести в заблуждение пользователей относительно реальной эффективности этих стратегий. Руководствуясь этим и учитывая потенциальный риск со стороны пользователей, было принято решение о расчете уровня доверия на основе фактической популярности конкретной стратегии у пользователей. Такая оценка наиболее объективна.
В итоге, на свет появился новый коэффициент - Rookee Quality (RQ)!
Мы надеемся, что введение этого параметра поможет Вам максимально продвигать запросы с максимальной эффективностью, быстро подобрав нужные стратегии.
