Что такое IndexNow и как его использовать в Яндекс и Google

Невероятная конкуренция в сфере поисковой оптимизации привела к появлению огромного множества всевозможных платных и бесплатных инструментов. Современное SEO предполагает умение применять на практике подавляющее большинство из них, в противном случае уже попросту не получится добиться ощутимых результатов. Более того, если вы считаете себя профессионалом в области оптимизации и продвижения сайтов, необходимо разрабатывать и собственные методики, которые позволят оказаться впереди конкурентов.

Крупные игроки, занимающие топовые позиции по наиболее популярным и денежным запросам, несомненно могут рассчитывать на быструю индексацию страниц со стороны поисковых систем. Но что делать владельцам небольших порталов или информационных блогов, которые не находятся в поле постоянного внимания алгоритмов? Разумеется, им приходится активно применять разнообразные инструменты, благодаря которым можно сообщить поисковым ботам о своём существовании и проводимых обновлениях.

Что такое IndexNow и как его использовать для SEO?

IndexNow – это новый способ коммуникации с поисковыми алгоритмами, который направлен на ускорение их оповещения о публикации нового или редактировании размещённого ранее контента. Подобные инструменты помогают быстрее реагировать на изменения, которые приносят с собой обновления, и держать руку на пульсе в том случае, если вы собираете горячий событийный трафик.

Самостоятельное сканирование сайтов поисковыми алгоритмами справляется с поставленной задачей весьма посредственно. Если не предпринимать дополнительных мер, ожидать появление новых страниц в выдаче можно месяцами. Куда эффективнее сегодня, самостоятельно предоставлять контент поисковику.

Тенденция к индексированию через ручное управление ботом полезна для Глобальной сети в целом. Таким образом вы сможете снизить нагрузки на сервер, ведь проверяться будет только та часть сайта, которая ещё не была добавлена в выдачу.

Работа с поисковыми алгоритмами через программный интерфейс инструмента IndexNow имеет ряд безусловных преимуществ, в сравнении с традиционными способами индексации:

Фильтрация всех мусорных запросов. Весь спам попросту перестанет доходить до вас, что также существенно снизит нагрузку на ваш сервер.
Решение большинства проблем, возникающих из-за некорректного рендеринга. Возможность совершать прямые запросы к страницам с отрисованным HTML-кодом избавит вас от необходимости постоянно править макет страниц.
Наибольшие бенефиты от использования данной технологии получают сами поисковые системы. Ведь им не нужно бесцельно сканировать всю Глобальную сеть, в поисках изменений.
Рентабельность данного решения в длительной перспективе очень высока. Чем больше у вас сайтов во владении, тем больше и причин воспользоваться IndexNow для работы с ними.

На удивление, передовиками в работе с IndexNow выступают Bing, который запустил открытый протокол для прямой передачи нового контента поисковику, и Яндекс, быстро подключившийся к этому празднику эффективности.

В общем смысле, IndexNow – это скорее XML-карта сайта. Она включает компоненты, которые необходимо проверить поисковым ботам. Так что называть инструмент визуальным интерфейсом (API) индексирования будет не совсем корректно.

Уведомляя поисковые системы о создании новых страниц, IndexNow передаёт их URL-адреса напрямую. Алгоритмам больше не придётся сканировать полноценные XML-карты, включающие в себя не только новую информацию, но и уже неактуальную. Кроме того, таким образом можно обойти и любые ограничения, касающиеся размера файла XML. В экзотических ситуациях доступно даже совмещение обоих инструментов: предоставляйте динамические данные об изменениях и статическую карту экзоскелета сайта.

IndexNow открывает возможность работать не столько с доступными страницами, но и показывать поисковым системам данные о более недоступных (через сообщение о 404 ошибке) или перенаправлять их через 301-редирект. Таким образом удаётся достигать куда более высокой скорости сканирования сайта.

К сожалению, при чрезмерно регулярном обновлении содержания страницы (множество раз в день), использование IndexNow может приводить к возникновению проблем. Подобные ситуации вполне естественны для новостных изданий, сообщающих последнюю информацию о конкретной ситуации на одной странице. Постоянное дополнение статьи поступающими подробностями, в некоторых случаях, не слишком дружественно воспринимается поисковыми системами.

Тем не менее поисковики всё-таки более лояльно относятся к URL-адресам, которые поступили через IndexNow. Ссылки, найденные иными способами, получают более низкий изначальный рейтинг от алгоритмов.

Как отправлять страницы на индексацию через IndexNow

Первым делом понадобится подтвердить права на владение сайтом, на который происходит интеграция инструмента:

Посетите страницу с автоматическим генератором ключей.

Сгенерируйте новый ключ.

Разместите его в корневом каталоге. Для этого используется обычный текстовый файл.

Теперь вы сможете использовать IndexNow в полном объёме. Для начала испытайте его возможности:

Воспользуйтесь запросом GET, и отправьте новые URL-адреса для сканирование поисковыми алгоритмами.
Вы можете отслеживать скорость добавления обновлений в поисковую выдачу через специализированные инструменты от Яндекс или Bing. Обе площадки оснащены собственными вариантами сотрудничества с вебмастерами.

Помните о том, что каждый поддомен должен быть оснащён собственным ключом, подтверждающим права собственности. Также вы можете разделить ключами и системы управления контентом.

Наибольшую выгоду инструмент IndexNow должен принести именно поисковым системам, а не рядовым вебмастерам. Ведь он способен существенным образом повлиять на число бесполезных или излишних сканирований сайтов поисковыми алгоритмами.

Согласно статистике, собранной и опубликованной Cloudflare, почти половина всего трафика Глобальной сети (порядка 45%) приходится на ботов. Из этих 45% на долю полезных алгоритмов, таких как сканеры поисковиков, отводится лишь 5%.

Таким образом можно считать, что 5% всего трафика в Интернете – это полезные сканирующие алгоритмы, призванные отслеживать обновления и изменения сайтов, находящихся в индексе. А теперь давайте поговорим об их эффективности. Около 53% всей работы этих ботов приходятся на повторные сканирования не обновляющегося контента или фильтрацию спама и нерелевантной информации. Вот и выходит, что реально полезными можно считать лишь 47% от всей, проделываемой ими, работы. Дабы повысить эффективность автоматических алгоритмов и был разработан инструмент IndexNow.

Повышая эффективность индексирования, поисковые системы получают возможность сократить эксплуатационные расходы. А вебмастеры, в свою очередь, получают инструмент, способный во многом упростить им жизнь и ускорить процесс работы с сайтами. Чем быстрее проиндексируются все полезные изменения ресурса, тем быстрее вы начнёте получать новый трафик. Благодаря этому, активные и развивающиеся сайты получат дополнительные возможности для борьбы за своё выживание в поисковой выдаче.

IndexNow и Яндекс

Отечественный поисковик предлагает своим партнёрам настраивать передачу данных о последних обновлениях через API. При этом такой обмен предполагает использование HTTP и JSON. Уникальный ключ, подтверждающий право владения сайтом, передаётся в запросах к API и является обязательным на всём протяжении работы с IndexNow. Яндекс даёт и несколько собственных рекомендаций по работе с инструментом:

Сегодня существует ряд специализированных плагинов, призванных упростить процессы отправки на индексацию всех обновляемых страниц.
Используйте метод GET, если собираетесь отправить на индексацию одну страницу.
Для передачи списка адресов используйте метод POST.

Изначально Яндекс.Вебмастер предоставлял подобную функцию, которая называлась «Переобход». Это ручной сигнал поисковым алгоритмам, сообщающий о внесении изменений на странице или добавлении новой. В целом её функционал был практически идентичен. Более того, на момент релиза IndexNow, «Переобход» во многом выигрывал в плане скорости реакции на поступающие запросы. Яндекс несомненно отдавал предпочтение собственному инструменту, в сравнении с запросами внешнего.

Но спустя некоторое время IndexNow был интегрирован в отечественный поисковик и начал работать так, как заявлял разработчик. Наиболее существенное его отличие от любого самостоятельного инструмента поисковой системы заключается в том, что он распространяет информацию об обновлениях среди всех партнёров, сотрудничающих с IndexNow. То есть один запрос позволяет отправить сообщение сразу всем поисковым системам, сотрудничающим с разработчиками. А учитывая тот факт, что на сегодняшний день это практически все основные поисковики, за трафик в которых борются вебмастера, вывод напрашивается сам собой. Возможно это шаг в сторону централизации и стандартизации всей поисковой выдачи в Глобальной сети, как таковой.

IndexNow и Google

Google, хоть и несколько позже, также запустил поддержку IndexNow. Предварительное тестирование заняло некоторое время, но нацеленность компании на снижение выбросов углерода в атмосферу вынуждает её искать подобные пути сокращения уровня энергопотребления. В официальном заявлении было также сказано следующее:

«Мы придерживаемся целостного подхода к обеспечению устойчивости в Google, включая усилия по разработке наиболее эффективного и точного индекса Интернета. Мы придерживаемся нулевого уровня выбросов углерода с 2007 года, и к 2030 году мы стремимся к тому, чтобы полностью отказаться от выбросов углерода, по всем нашим данным. Нас вдохновляет работа по повышению эффективности сканирования веб-страниц, и мы будем тестировать потенциальные преимущества этого протокола».

А уже в 2022 году поступила информация о том, что Google использует собственный «искусственный интеллект», дабы проводить индексацию не целых страниц, а лишь отдельных её отрывков. Это могут быть конкретные предложения или абзацы. Обеспечивая таким образом наиболее оперативную реакцию на запросы, поисковая система может отказаться от полного сканирования страниц и снизить издержки.

Разумеется, у Google также был собственный инструмент, со схожим функционалом. Indexing API – был разработан ради предоставления вебмастерам возможности сообщать поисковой системе о добавлении новых или обновлении уже существующих страниц. Это позволяет Google более эффективно планировать последовательности переходов собственных ботов. Это особенно принципиально, если говорить о сайтах, страницы которых имеют короткий жизненный цикл, таких как новостные каналы. Если информация быстро устаревает и становится бесполезной, крайне важно как можно скорее поместить её в индекс. А значит необходимо сообщать поисковой системе о ней сразу же, после создания страницы.

Наличие собственного функционала и повлияло на относительно медленную реакцию поисковой системы на IndexNow. А ещё не всем может понравится, что поступающие URL-адреса распространяются между всеми поисковиками в равной степени.

Выводы: стоит ли вообще использовать IndexNow

Будучи ещё совсем молодым инструментом, IndexNow после запуска получил весьма смешанные отзывы. В частности, его критиковали за нестабильную работу и сомнительную эффективность при работе с малыми объёмами данных. То есть он может быть полезен при загрузке в индекс большого объёма информации, размещённого на множестве страниц. А если дело касалось лишь небольших корректировок на уже существующих, то он показывал себя далеко не с наилучшей стороны.

Тем не менее, с момента релиза IndexNow, состоявшегося в октябре 2021 года, прошло уже достаточно времени, и поисковые системы смогли найти с ним общий язык. Инструмент настолько всем понравился, что поисковики старательно искали возможности по ускорению его интеграции и введению в эксплуатацию, тогда как вебмастера активно применяли его наряду с привычными моделями индексации.

Сегодня, безусловно, IndexNow стал одним из инструментов в арсенале SEO-специалиста. Все, кто незаслуженно обделяют его вниманием, оказываются в проигрышном положении, в сравнении с передовиками поисковой оптимизации и продвижения.

Инструмент привлекает так много внимания, что в нём заинтересованы далеко не только вебмастеры и поисковые системы. О планируемом переходе на IndexNow объявляли такие компании, как LinkedIn, MSN и GitHub. Не исключением стали и поставщики различных поисковых решений: Botify, OnCrawl, Onely и Yext активно переходят на работу с этим инструментом. Ну и все наиболее популярные CMS не отстают. WordPress первым реализовал собственный плагин IndexNow. За ним потянулись и остальные, добавляя в библиотеки подобные программные решения. В конце концов, в таких ситуациях, кто не успел – тот проиграл.