Редакция Rookee 
В канун Нового года Яндекс решил дать несколько полезных советов интернет-магазинам по настройкам индексирования. На самые популярные вопросы вебмастеров по традиции отвечает Платон Щукин.
1. Использовать ли ЧПУ-адреса на сайте?
Робот Яндекса проиндексирует любой URL. Однако надо помнить, что ресурс с понятной и читаемой структурой URL-адресов позволит роботу сформировать корректные навигационные цепочки. Это в свою очередь сделает сайт более заметным в результатах поиска.
2. Что делать со страницами пагинации?
Если на страницах пагинации нет трафика из поисковых систем и их контент во многом идентичен, то нужно настроить атрибут rel="canonical" тега link на подобных страницах и делать страницы второй, третьей и дальнейшей нумерации неканоническими. А в качестве канонического (главного) адреса указывать первую страницу каталога, только она будет участвовать в результатах поиска. Это не только предотвратит возможное дублирование контента, но и позволит указать роботу, какая именно страница должна находиться в выдаче по запросам.
Если вместо пагинации используется динамическая прокрутка, необходимо проследить, весь ли контент таких страниц отдается индексирующему роботу (например, с помощью в Яндекс.Вебмастере).
3. Один товар в нескольких категориях, как исключить дублирование?
Такая ситуация возникает, если один и тот же товар логично разместить в нескольких категориях. Для подобных ситуаций Яндекс советует использовать атрибут rel="canonical" тега : укажите с помощью него канонический адрес. Например, тот, что находится в наиболее популярной категории, именно он будет индексироваться и участвовать в результатах поиска.
Это позволит предотвратить дублирование контента в выдаче, и вы всегда будете знать, какая страница должна находиться по запросам. Посетители же всегда смогут найти обе страницы при заходе на сайт, а перелинковка между собой этих страниц может быть полезна в этом случае.
4. Товар закончился на складе, что делать?
Если товар закончился, но в скором времени ожидается его поступление, Яндекс рекомендует оставить страницу с ним доступной для робота. Это предотвратит её исключение из результатов поиска. При длительном отсутствии товара на складе лучше настроить HTTP-код ответа 404, чтобы удалить недоступные для заказа товары.
5. Что нужно добавить в robots.txt?
Обязательно к закрытию в файле robots.txt:
- страницы действий (добавление в корзину, сравнение товаров, перенос в список "Избранное"),
- корзины с товарами,
- встроенный поиск на сайте,
- служебные каталоги с конфиденциальными документами (адреса доставки, контактные телефоны),
- идентификаторы сессии, utm-метки с помощью директивы "".
Дополнительно, как и для всех сайтов, указать в robots.txt необходимо:
- директиву Host с адресом главного зеркала сайта,
- директиву Sitemap с адресом актуального файла sitemap.
