Как известно, в продвижении сайта в топ-10 поисковых систем и в оптимизации юзабилити нет предела совершенству. Но эффективность этой трудоёмкой деятельности может быть существенно снижена из-за незначительных на первый взгляд технических ошибок. Такие недоработки приводят к следующим нежелательным последствиям:
-
сайт не полностью индексируется;
-
поисковые алгоритмы не «понимают» структуру проекта;
-
посетителям сложно найти необходимую информацию;
-
поисковый робот некорректно индексирует страницы.
Этот материал создан в формате чек-листа, который поможет планомерно исправить все технические ошибки, внеся необходимые SEO-доработки.
Универсальные требования к сайтам разных видов
Ниже будут перечислены основные технические требования к сайтам, которые предъявляются поисковыми системами. Список составлен в соответствии с распространенностью ошибок и важностью их устранения.
1. Настройка 301-го редиректа с второстепенных зеркал на основной домен сайта. Чаще всего проблемы возникают с согласованием следующих страниц:
- www.test.ru;
- test.ru;
- test.ru/index.php;
- test.ru/index.html;
- test.ru/default.asp;
- https://test.ru;
- www.test.ru/cat/dir/.
Код ответа сервера любой страницы сайта можно получить, если использовать онлайн-сервис bertal.ru.
2. Настройка 301-го редиректа для тестовых зеркал ресурса.
3. Формирование и оптимизация файла robots.txt. Здесь важно учитывать требования разных поисковых систем. К примеру, директиву Host: воспринимают только роботы «Яндекса», а алгоритмы Google считают её некорректной. Проверить правильность составления технического файла можно с помощью сервиса «Яндекса» https://webmaster.yandex.ru/robots.xml.
4. Для каждой страницы нужно прописать теги Title и Description. Они должны быть уникальными и релевантными контенту. Желательно использовать автоматизированные инструменты для проверки уникальности тегов.
5. Настройка ЧПУ. Если сайт имеет сложную структуру, то стоит сначала оптимизировать страницы, которые будут активно продвигаться. Хороший ЧПУ-адрес должен давать понять пользователю тематику страницы.
6. Проверка корректности работы 404-й ошибки. Такой код ответа сервера должен демонстрироваться при запросе любых несуществующих страниц. Вывод ответа желательно оформить оригинальным дизайном. Страница с 404-й ошибкой должна помогать найти необходимую информацию.
7. Тестирование кодов ответа сервера при обращении к существующим страницам. Это можно сделать с помощью программ:
-
Netpeak Spider;
-
Page Weight.
В идеале все страницы должны давать ответ «200 OK».
8. Проверка размера страниц и скорости их загрузки. Загрузка исходного кода не должна занимать более 0,7 секунды, а скорость ответа сервера – не меньше 0,2 секунды. Сам размер исходного кода не должен превышать 120 КБ.
Оценить эти параметры можно с помощью сервисов:
9. Проверка наличия и уникальности тега H1 на всех страницах. По смыслу он должен соответствовать тематике страницы.
10. Нужно убедиться, что теги h1 – h6 не применяются в качестве элементов оформления страниц.
11. Оценка Uptime сервера по статистическим данным. Хорошо, если сервер стабильно отвечает в 99,85 % случаев и больше.
12. Загрузить в корень сайта красивый и запоминающийся favicon.ico.
13. Необходимо скрыть ссылки на страницы, которые были закрыты с помощью robots.txt. Это нужно, чтобы равномерно распределить внутренний вес сайта.
14. Крупные фрагменты кода CSS и JS нужно перенести в отдельные файлы, подключаемые по мере необходимости. Это увеличит скорость индексации и упростит «понимание» исходного кода роботами поисковых систем. Оптимизировать стоит фрагменты, размер которых превышает 8 строк.
15. Проверка кода на наличие незакрытых парных тегов. Это базовое условие для определения валидности исходного кода. Каждый парный тег должен быть закрыт соответствующим образом.
16. Нужно проверить корректность отображения страниц и работы функциональных элементов сайта в разных браузерах. Особое внимание следует обратить на совместимость с самыми популярными обозревателями. Обязательно нужно выполнить анализ:
-
в Google Chrome;
-
Mobile Safari;
-
Android Browser;
-
Opera;
-
«Яндекс.Браузер»;
-
Firefox.
17. С учётом конфигурации сервера и CMS требуется настроить 301-й редирект со страниц, адрес URL которых имеет «/», на те, где слеш отсутствует.
18. Настройка корректного 301-го редиректа между версиями http и https, если соответствующие страницы существуют в качестве дублей. Необходимость выполнения этой SEO-доработки обусловлена тем, что алгоритмы поисковых систем всё равно продолжают сканировать обе версии, если они доступны.
19. Необходимо скрыть от роботов технические страницы входа в административную часть сайта. Обычно они имеют адрес «/login», «/wp-admin», «/administrator» и пр. Решить эту задачу можно путем прописывания в файле robots.txt директивы типа «Disallow: /admin».
20. В файле robots.txt нужно скрыть от роботов поисковых систем страницы с индикаторами сессий вида «session_id=» и «PHPSESSID=». При прописывании соответствующих директив в служебном файле нужно строго соблюдать регистр, иначе алгоритмы не «поймут» команды.
21. Необходимо сформировать файл с картой сайта sitemap.xml, в котором указываются все страницы ресурса. С помощью специального инструмента от «Яндекса» ( https://webmaster.yandex.ru/sitemaptest.xml) можно проверить корректность создания файла. Сформированная карта загружается непосредственно в «Яндекс.Вебмастер» или аналогичную панель Google.
22. С использованием target=”_blank” для внешних ссылок прописывается атрибут открытия в новой вкладке, что необходимо для правильного распределения веса.
23. Нужно найти и оценить правильность сохраненных копий. Для полноценного теста достаточно проверить несколько важных страниц сайта. Здесь нужно оценить корректность кодировки, программного кода и дату формирования копии.
24. В служебном файле robots.txt нужно прописать директивы, которые закроют от поисковых систем служебные папки типа cache, cgi-bin, backup и wp-icnludes.
25. Пустые файлы с расширением *.pdf и *.doc нужно тоже скрыть от индексации в robots.txt. Эту SEO-доработку необходимо реализовывать только в том случае, если эти файлы не несут полезной информации.
Дополнительная оптимизация для интернет-магазинов и ресурсов с внутренним поиском и авторизацией
Существует ряд доработок, которые актуальны для оптимизаторов, которые занимаются развитием функционально сложных сайтов. Наличие внутреннего поиска, системы авторизации пользователей, лид-форм, фильтров для товаров и подобных элементов обуславливает проведение дополнительных работ для внутренней оптимизации.
Эти SEO-доработки продолжат наш чек-лист.
26. Для более точного учёта ссылочных и пользовательских метрик стоит настроить rel=“canonical”. Это позволит избавиться от проблем, связанных с наличием дублей страниц. Эту же работу можно провести в рамках небольших ресурсов, но обычно это неоправданно из-за трудоемкости реализации.
27. Чтобы снизить объем бесполезного трафика и улучшить качество индексации, нужно внести настройки, которые будут возвращать 304-й код ответа при получении запроса If-Modified-Since. Это правило соблюдается, если с последнего посещения юзера или поискового робота страница не изменялась. Эта SEO-доработка увеличивает глубину индексации, так как алгоритм не тратит время на новую загрузку документа, который не изменился.
28. Если на страницах результатов фильтрации товаров или поиска не настроен ЧПУ, то их нужно скрыть от индексации с помощью AJAX.
29. Пользовательские страницы, на которых проводится замена пароля, оформление заказов, авторизация и подобные действия, тоже нужно скрыть от роботов поисковых систем.
30. В файле robots.txt необходимо скрыть страницы с результатами пользовательского поиска (poisk, search и пр.).
31. Также закрываются от индексации версии страниц для печати. Обычно они обозначаются, как version=print, «_print». Для этого стандартно используются директивы для файла robots.txt.
32. Необходимо исключить из индексации страницы, которые формируются в результате определённых действий пользователей. К примеру, это может быть страница быстрой покупки «?action=BUY» или добавления товара в «Корзину» для дальнейшего оформления заказа «?action=ADD2BASKET».
33. Разделы, в которых может дублироваться содержимое, нужно закрыть от индексации. Это могут быть RSS-информеры или подобные дополнения.
Полезные рекомендации
1. Функциональной альтернативой файла robots.txt является метатег name=“robots”. Применяя поля content=“noindex, follow“, можно тоже закрывать страницы или их элементы от индексации. Нужно отметить, что алгоритмы поисковых систем более точно следуют командам noindex/follow, но в рамках крупных проектов их внедрение требует значительных временных затрат.
2. При правильной настройке атрибута rel=“canonical” для <link> можно добиться следующих результатов:
-
ускорение индексации;
-
более точно собирать и анализировать аналитические данные относительно пользовательского поведения.
Эта SEO-доработка особенно актуальна для проектов, которые будут использовать контекстную и таргетированную рекламу для продвижения.
Нужно отметить, что в поисковой системе «Яндекс» атрибут rel=“canonical” работает с достаточно большой погрешностью, что приводит к некорректной склейке ссылочных и пользовательских факторов, полученных на разных страницах. Для перестраховки лучше пользоваться 301-м редиректом.
3. При скрытии разделов или страниц нужно обязательно «прятать» от индексации ссылки, которые могут на них вести. Если не обратить на это внимания, то можно получить проблемы с распределением ссылочного веса.
4. Когда детальная внутренняя оптимизация была полностью проведена, нельзя забывать об этой части SEO. Периодически нужно проверять индекс на предмет попадания в него дублей страниц. Для этого достаточно использовать цитатный оператор для поиска «site:». Также стоит проверить сайт на наличие документов с дублированными тегами. Последняя проверка реализуется с помощью оператора «title:».
Подведём итоги
Все перечисленные SEO-доработки могут показаться исключительно техническими и незначительными. Однако это не так. Подобные ошибки значительно снижают качество и глубину индексации, что, несомненно, найдет отражение в результатах ранжирования. Алгоритмы поисковых систем очень негативно относятся к наличию дублей, выпадению страниц из индекса, медленной скорости работы ресурса и нелогичной структуре.
Оптимизация по приведённому выше чек-листу позволяет систематизировать процесс устранения технических ошибок. Нужно просто планомерно выполнить рекомендации, если они актуальны для конкретного проекта. При корректной настройке часто возвращаться к этой монотонной работе не придется.
В некотором смысле силы, затраченные на мелкие технические доработки сайта, можно рассматривать в качестве фактически финансовых инвестиций в развитие проекта. Нужно помнить, что активная часть продвижения будет предполагать публикацию качественного контента и «хороших» ссылок, что сегодня требует значительных затрат. Соответственно, хочется, чтобы, к примеру, каждая размещённая статья на сайте давала наилучший прирост позиций в поиске. Так вот, отсутствие мелких технических ошибок на сайте позволит вам «выжать» максимум из всех работ, которые будут проводиться в рамках поисковой оптимизации.
