Как создать и настроить Sitemap XML для вашего сайта

Карта сайта нужна и пользователям интернета, и тем, кто хочет продвинуть площадку в поисковиках. В этом материале речь пойдет в том числе о материалах для краулеров, представляющих собой XML-файлы со служебными данными. Такие sitemap хороши тем, что помогают поисковикам просматривать страницы и хорошо их индексировать.

Бывают также карты сайта для реальных пользователей. Их еще именуют HTML-картами. Они выглядят как каталоги страниц с логичной структурой. HTML-sitemap упрощают перемещение посетителей по сайту и помогают им найти определенные страницы, что положительно влияет на пользовательский опыт. А чем он лучше, тем качественнее ранжирование веб-ресурса в поисковиках.

Зачем сайту карта sitemap.xml

Предположим, человек зашел на сайт, чтобы найти нужную информацию. Он уже пролистал несколько страниц, но не увидел то, что ему нужно. Если посетитель не разбирается в поисковых операторах, а на площадке отсутствует карта, то, скорее всего, он закроет страничку и уйдет на другой сайт.

Поисковики тоже оценивают материалы на площадке случайным образом. Конечно, они учитывают ссылки. Однако изучить все страницы сайта они не могут, так как ограничены по объему контента и времени анализа. Может случиться, что роботы не оценят часть страниц до ближайшей или другой индексации.

Получается, что карта сайта:

помогает людям быстрее найти необходимую информацию;
показывает краулерам ссылки страниц, которые надо изучить;
делает индексацию быстрее, поскольку из sitemap можно убрать разделы, индексация для которых необязательна, а поднять целевые страницы;
дает поисковикам дополнительные данные, например, когда обновлялась страница и какова ее приоритетность.

О назначении карты сайта можно почитать в справочниках Google и Яндекса. Если вкратце, то sitemap содержит важные для краулеров сведения:

список URL-адресов по значимости;
вид размещенного контента, допустим, картинка или видеозапись;
приоритетность страницы;
альтернативные версии странички и т. д.

Когда нужна sitemap

Если сайт маленький, то проще сделать перелинковку страниц, чтобы оценить его наполнение. Пользователи также без проблем сориентируются в небольшом ресурсе. Получается, лендингам и площадкам-визиткам карта не требуется.

Признаки того, что сайту необходима sitemap:

На веб-ресурсе множество разделов, подразделов и страниц. Здесь очевидно, для чего нужен sitemap.xml. Он помогает краулерам правильнее индексировать сайт. А карта HTML делает навигацию пользователей по площадке проще.
Недостаточно ссылок на страницы ресурса. Если другие площадки практически не ссылаются на сайт, а его страницы не взаимосвязаны друг с другом, то краулеру труднее отыскать как саму площадку, так и требуемые страницы.
Много мультимедийных материалов. Sitemap позволяет поисковикам извлекать информацию из медийного контента и отображать в результатах выдачи картинки, видеозаписи и т. п.
Контент регулярно обновляют или добавляют свежие материалы. Используя карту сайта, можно показать краулерам страницы для первоочередной индексации.
Ресурс создали недавно. В таком случае ему будет труднее пробиться в топ поиска, а карта сайта поможет быстрее попасть на первую страницу по релевантным запросам.

Как узнать, если ли на сайте sitemap

Многие конструкторы формируют sitemap в автоматическом режиме. Иногда карту добавляет программист, который создает или настраивает определенную площадку.

Правильный и легкий способ узнать, есть ли на сайте sitemap, – это перейти на страницу https://site.ru/robots.txt. В 99 % случаев там можно будет увидеть ссылку на файл sitemap.xml.

По запросу в браузере можно найти sitemap любого сайта, если она открыта для просмотров.

Узнать, если ли карта, можно через онлайн-инструменты Яндекс Вебмастер и Google Search Console. Они также покажут, прошла ли sitemap индексацию.

Для тех, кто знает хотя бы основы кода страниц, подойдет и такой вариант: зайти в robots.txt и найти там информацию.

Можно ли не генерировать sitemap

Можно. Поисковые системы рекомендуют создавать sitemap.xml, но если на площадке ее нет, то Яндекс посчитает это проблемой, однако не критичной и не фатальной.

Краулеры проиндексируют сайт без карты. Но проблемы с индексацией все же могут возникнуть, если:

на площадке есть страницы, на которые не ссылаются ее другие источники;
сайт создали недавно, то есть он новый;
веб-ресурс довольно большой, то есть имеет многоступенчатую структуру;
большинство страниц площадки регулярно обновляется;
в сайт входят менее и более важные страницы.

Если у вас онлайн-магазин, посещаемость которого влияет на результаты продаж, то обязательно подготовьте sitemap.xml.

В чем разница между XML и HTML

Выше мы говорили, что возможны два вида карты: HTML и XML. Они имеют разные параметры и назначение. Расскажем о различных картах более подробно.

Sitemap.html

Их делают для интернет-пользователей. Эти карты представляют собой определенную веб-страницу со ссылками на главные разделы площадки.

Sitemap ограничены по объему. На одной страничке можно публиковать не свыше ста ссылок. Если их будет больше, то посетителям будет сложно ориентироваться в структуре, а роботы проиндексируют не все ссылки. Возможно, краулеры даже исключат страницу из результатов выдачи за множество ссылок.

У некоторых сайтов многоступенчатая структура с несколькими разделами и подразделами. В данном случае важно создать удобную и интуитивно понятную для пользователей карту, которая не будет перегружать страницу, например, включив в нее разделы, выпадающие из списка.

Пример карты сайта для посетителей

Sitemap.html не очень ценна для поисковиков. Важнее она для посетителей, так как помогает им быстрее найти информацию и упрощает перемещение по сайту.

Большие sitemap оформляют с применением Java-script, CSS-стилей и элементов графики.

Для sitemap.html существенно удобство применения

Sitemap.xml

Это файл, находящийся в корневом каталоге сайта и предназначенный для краулеров. Он содержит URL важных страниц, а также теги с данными для поисковых роботов.

Обязательные теги:

<urlset> – соединяет все URL-адреса;
<url> – включает информацию об определенном адресе;
<loc> – показывает сам URL.

Дополнительные теги:

<lastmod> – указывает на дату последнего изменения страницы;
<changefreq> – отображает, как часто меняли страницу;
<priority> – показывает приоритетность страницы.

У правильного файла sitemap.xml стоит кодировка UTF8. Она лучше всего сочетается с иными кодировками. Проще говоря, файл карты XML с кодировкой UTF8 нормально прочитает большая часть браузеров.

У sitemap.xml существуют ограничения:

файл не должен весить больше 50 мегабайт;
URL-адресов не может быть свыше 50 тысяч.

Даже если у сайта имеется карта XML-формата, то это не гарантирует, что краулеры просканируют страницы по установленным значениям. Однако такая sitemap поможет роботам оценить структуру площадки и оперативно обнаружить свежий контент.

В идеале у сайта должно быть 2 карты: первая – HTML для пользователей, вторая – XML для краулеров. Можно сгенерировать простой вариант – TXT Sitemap. Это тестовый файл, содержащий все необходимые ссылки в несколько строк.

Как создать карту сайта

То, как сделать sitemap для сайта, зависит от ее формата. Расскажем, как сгенерировать карту для посетителей площадки и поисковиков.

Особенности создания карты сайта в формате HTML

Желательно, чтобы sitemap была актуальной, лаконичной и наглядной. Хорошо, если навигация будет интуитивно понятна для пользователя. Также следует периодически ее обновлять.

По факту HTML-sitemap – это структурированный список самых важных страниц площадки, напоминающий оглавление в книге.

Рекомендации по созданию HTML-карты сайта:

Придерживайтесь четкой иерархии страниц, чтобы было очевидно, где находятся разделы, а где – подразделы.
Не нагружайте визуал. Лучше сделайте акцент на оглавление, а пестрые или яркие шрифты не используйте или включайте в навигацию по минимуму. То же самое касается картинок.
Проставляйте гиперссылки. Это упростит перемещение посетителей по страницам площадки и поможет им быстрее найти нужную информацию.

Варианты создания HTML-карты:

Своими силами. Если вы умеете работать с данным форматом, то разработайте карту сайта сами. Или подготовьте текстовый файл, а затем конвертируйте его в HTML через особые инструменты, например Texthandler, Convertio.
Через специальные сервисы. Используйте для этого специальные онлайн-программы. Просто укажите адрес страницы в соответствующей строке и нажмите на кнопку действия. Вы получите карту сайта.

Примеры инструментов, которые помогут сделать HTML-sitemap:

Octopus;
Gloomaps;
Visual Site Mapper;
Mysitemapgenerator;
Visual Site Mapper;
Web-технологии.

Web-технологии – очень простой инструмент для разработки карты сайта без регистрации

Используя плагины CMS. Такие инструменты анализируют сайт и создают его карту. Примеры: WP Sitemap Page для WordPress, OSMap для Joomla и Sitemap для Drupal.

Какие страницы внести в HTML-карту сайта

Необязательно вносить в карту сайта все его страницы. Главное – обозначить наиболее важные, на которые будут переходить пользователи, например:

информация о фирме;
условия доставки;
порядок оплаты;
категории товаров;
подкатегории;
«Корзина».

Это простой пример для онлайн-магазина. По такой навигации потенциальный покупатель сможет получить всю важную информацию о заказе товара, выбрать и купить необходимую продукцию.

Главное – не вносить в sitemap:

странички, закрытые от индексации;
ссылки с кодом ответа сервера, отличным от 200 ОК;
удаленные URL.

Карту сайта размещают на определенной странице, а ссылку на нее указывают в подвале ресурса, чтобы пользователь мог найти нужную информацию с любой страницы.

Если у сайта не более ста страниц, то допускается использования только одной версии sitemap. Когда структура сложная, то лучше сделать несколько карт, к примеру, для каждого раздела.

Как сделать sitemap.xml

Такая карта – это уже не система навигации для посетителей, а файл с рекомендациями для краулеров по страничкам, которые нужно индексировать. Используя ее, можно показать роботам важнейшие ссылки, уведомить о периодичности обновлений страниц и дать другие важные данные.

В sitemap.xml необходимо правильно обозначить ссылки. Для этого следует:

указывать исключительно канонические URL;
использовать для всех ссылок только один протокол (http либо https);
публиковать все ссылки на том же самом доменном имени, что и sitemap.xml.

Как сгенерировать sitemap.xml

Есть следующие варианты:

Своими силами. Например, оформить файл в Notepad++. Чтобы сделать sitemap самостоятельно, надо разбираться в программировании и располагать свободным временем. Это способ подойдет для не слишком большой площадки.
Используя особые онлайн-программы. Существуют разные генераторы карт сайта, функционирующие платно или бесплатно. Чаще всего они работают следующим образом: вы указываете доменное имя и кликаете по определенной кнопке. Программа выдает уже готовую карту.

Приведем инструменты, с помощью которых легко сгенерировать sitemap.xml:

«Сайтрепорт»;
SiteAnalyzer;
XML-Sitemaps;
XML Sitemap Generator.

Стартовая страница XML Sitemap Generator

Через CMS-плагины. Для сайтов на CMS существуют плагины, создающие sitemap.xml, к примеру:

JL Sitemap для Joomla;
XML Sitemap и All in One SEO для WordPress.

Если на вашем сайте уже есть карта, то не забывайте обновлять статический файл sitemap, как только размещаете свежие странички или корректируете текущие.

Для тех, кто регулярно меняет страницы на площадке, рекомендуем сгенерировать динамическую карту сайта. Она будет самостоятельно обновляться по мере внесения корректив.

Чтобы получить динамическую sitemap, надо внести определенные скрипты в код сайта или воспользоваться программами, допустим, Mysitemapgenerator.

Какие странички необходимо прописать в sitemap.xml

Поскольку такая карта нацелена, в первую очередь, на краулеров, в нее нужно включить все страницы, которые подлежат индексации. Необходимо, чтобы они возвращали код ответа 200 ОК.

Что не стоит вносить в XML-карту сайта

В sitemap.xml не требуются страницы soft 404, а также имеющие коды:

404 и Not Found;
401;
301;
503;

Не стоит включать в файл неиндексируемые странички, например личные аккаунты.

Перед тем как создать файл sitemap.xml для сайта, надо проверить, что все странички возвращают код ответа 200 ОК. Сделать это можно через специальные сервисы, допустим, Collaborator, BE1.RU.

Когда sitemap.xml весит более 50 Мб и (или) состоит свыше, чем из 50 тысяч ссылок, рекомендуем вам разбить ее на несколько файлов. Это позволит не только привести карту сайта к требуемому размеру, но и снизит нагрузку на сервер.

Для больших сайтов с многоступенчатой структурой желательно сделать несколько sitemap.xml. Это особенно актуально, если у площадки есть коммерческая часть, блог и другие взаимосвязанные составляющие.

Готовые карты нужно протестировать на ошибки. Это поможет предотвратить некорректную индексацию страниц краулерами. Подойдут инструменты: Mysitemapgenerator, Aspose и Websiteplanet.

Как проинформировать поисковики о генерации sitemap.xml

После создания XML-карты сайта надо уведомить об этом Google и Яндекс. Конечно, когда-нибудь они сами обнаружат новый файл, если он числится в robots.txt. Но на это может уйти время.

Чтобы уведомить поисковик Google, можно:

Использовать Google Search Console. Войти в сервис, выбрать раздел «Файлы Sitemap», добавить файл карты сайта и кликнуть по кнопке «Отправить».
Направить HTTP-запрос через поисковую строчку браузера: http://www.google.com/ping?sitemap=url_sitemap.

Для информирования Яндекса можно:

Зайти в Яндекс Вебмастер. Выбрать раздел «Индексирование – Файлы Sitemap». Прописать ссылку на sitemap и нажать на кнопку «Добавить».
Отправить HTTP-запрос. Для этого в поисковой строчке браузера указать: http://yandex.ru/ping?sitemap=sitemap_url_sitemap.

Если после тестирования sitemap.xml краулеры проинформируют об обнаруженных проблемах, то их придется исправить.

Заключение

Таким образом, карта сайта – необязательная, но желательная его составляющая. Есть два варианта sitemap: в XML- и HTML-формате. Первый видят краулеры, второй – реальные посетители площадки в виде системы навигации. И тот, и другой вид карты сайта полезны для его продвижения. Иногда XML- и HTML- sitemap объединяют.

Для получения карты сайта проще всего использовать специальные программы. Также создать sitemap можно самому, но для этого надо разбираться в программировании. Генерируя карту сайта, важно учитывать требования и рекомендации поисковых систем.

Как создать и настроить карту сайта sitemap.xml