Редакция Rookee 
Рано или поздно, для каждого сайта, ну или почти для каждого, наступает момент, когда его надо превращать в универсальную площадку по продаже товаров или услуг. На помощь, в большинстве случаев, в этом нелегком деле, приходит такая странная и во многом непонятная штука - поисковая оптимизация. Но поисковая оптимизация злая штука, поскольку может прийти на помощь, как в виде квалифицированного специалиста, который продвинет, так и в виде того, кто "задвинет".
Поэтому любому владельцу сайта, который продвигается самостоятельно или которого продвигают, время от времени, не помешает проводить аудит своего сайта "на стороне".
Об одном таком аудите, я вам сегодня и хочу рассказать.
Заодно хочу провести мини-исследование, что будет быстрее, аудит сайта своими руками или при помощи сервиса Rooletka (параллельно с проведением аудита лично мною, был запущен анализ сайта в сервисе Rooletka), о итогах напишу в конце статьи.
Недавно один знакомый попросил меня провести аудит его сайта, поскольку, цитирую: «У меня почему-то не растут позиции!». Не отказывать же человеку, а тем более хорошему знакомому. По понятным причинам выставить на всеобщее обозрение сам сайт, к сожалению, не могу, но расскажу немного о том, каким именно «пыткам» я его подверг.
Основной целью аудита являлось выявление причин, из-за которых сайт последние пару месяцев стоит, как вкопанный и не двигается к заветному ТОП5. Осмотр своего пациента я начал с захода на сайт. Внешне он показался достаточно неплох, особенно если сравнивать его с коллегами по тематике. Уникальный дизайн, который приятен глазу, текст разбавленный фотографиями из «жизни» фирмы, ну и все в таком духе. Достаточно качественный региональный сайт небольшой фирмы.
Вначале было решено проверить, сколько страниц находится в поисковых систем и . Введя в Яндексе и Google запрос вида «site:site.ru», я увидел, что страниц в индексе Яндекса - 706, а в Google - 977. Первая мысль, пришедшая в голову - «Здорово! Наверное, много полезного контента», однако я все же решил посмотреть, сколько страниц сайта находятся в основном индексе Google. Введя запрос «site:site.ru/&», я увидел удручающую картину. Из более чем 900 страниц, в основном индексе находилось только 55, из чего можно было сделать вывод, что остальные 922 страницы не представляют никакой ценности. Вполне возможно, что именно из-за этого Google отправил их в так называемые или Supplemental Result. Для того чтобы не копаться во всем этом великолепии, решено было запустить Xenu, который не только может показать битые ссылки, но и полный список урлов сайта.
Ну а пока Xenu обрабатывает сайт, я решил не терять времени и проверить настройку и корректность обработки 404 ошибки. Как оказалось, сайт прекрасно открывался как с www, так и без www.
Далее было решено проверить robots.txt на корректность. В robots.txt передо мной предстала интересная конструкция:
Я, конечно, могу понять многое, но вот это за гранью добра и зла. На мой взгляд всё же правильне так:
После осмотра robots.txt оставалась еще куча времени, и, поскольку Xenu отработал только на 50%, я решил продолжить осмотр "пациента". Далее моему пристальному взору подверглось содержимое файла «sitemap.xml», осмотр файла и проверка через , ошибок в нем не выявили. В самом же файле находилась информация только о 88 страницах. По всей видимости, мое предположение о большом количестве не уникального контента было верным. Тем временем, Xenu вышел на финишную прямую, ну и пока оставалось ещё немного времени, я решил проверить корректность 404 страницы. С обработкой 404 проблем не было, для несуществующих страниц отдавался код «404-Not-Found». Проверить это не сложно, достаточно вбить абракадабру вида http://www.site.ru/agsfasfasfasgfgasgjf.html и посмотреть код ответа сервера. Если он соответствует «404-Not-Found», то у вас все хорошо.
К этому моменту, Xenu успешно отработала и проанализировала все ссылки на сайте. Она нашла с десяток битых ссылок, которые вели на несуществующие страницы. Помимо этого было найдено около 10 внешних ссылок на внешние ресурсы. На ряде страниц, были найдены проблемы с кодировкой, которые необходимо будет исправить. Но самое главное, что Xenu нашел очень много ссылок вида «/search.html?value=ремонт+автомобилей+лада». При более детальном осмотре сайта, наткнулся на облако тегов, состоящее из таких вот чудесных ссылок. Все, разумеется, было открыто для индексации и успешно индексированно поисковиками. Для того чтобы убедиться в своей правоте, ввожу в Google запрос вида "inurl:"/search.html?value=" site:site.ru" и вижу аж целых 766 страниц в индексе. Все эти "чудесные" страницы сразу же закрываются при помощи «Disallow: /search.html?value=*» от индексации. Правда ждать пока все это хозяйство выпадет из индекса, придется, скорее всего, достаточно долго. Можно, конечно, воспользоваться интерфейсом удаления страниц Яндекса и Google, но желания руками удалять почти 1000 страниц у меня нет.
Далее предлагаю плавно переместиться к проверке наличия на сайте технических дублей, что-то мне подсказывает, что они здесь присутствуют в большом количестве. Провожу самую простую проверку, для этого копирую содержимое мета-тега title и при помощи запроса к Google в формате "intitle:"Заголовок главной страницы" site:site.ru" нахожу целых 3 дубля морды сайта. Что самое интересно, Google нашел:
• http://www.site.ru/glavnaya_stranica.html?PHPSESSID=ca73a74e76f5e91291fd08d386b36b01
• http://www.site.ru/?PHPSESSID=4fb6e54a499c9fbf59087b729fe81fec
Выборочно проверяю этим же методом и другие страницы, где также нахожу полные дубли. После закрытия всего ненужного в robots.txt, приступаю к следующему этапу - проверке текстов на страницах на уникальность.
Проверить текст на уникальность мне помогает Advego Plagiatus, которым выборочно проверяю тексты на страницах и, как и следовало ожидать, тексты оказываются в лучшем случае уникальными на 40-50%. В отчете, обязательно напишу знакомому, чтобы закладывал бюджеты на копирайтеров. Поскольку в лучшем случае, для некоторых текстов можно обойтись рерайтом, а что-то, в виду 100% не уникальности, будет проще написать с нуля.
Выходя на финишную прямую, при помощи сервиса Rooletka, проверяю на наличие у сайта аффилиатов. К этому времени, сервис как раз успешно завершил анализ сайта. Ну и дабы не лезть в другие сервисы я использую данные из Rooletka, поскольку они в разы «свежее», чем у аналогов. Из того, что я сегодня увидел, меня совершенно не удивило бы наличие у сайта еще и клонов, однако опасения не подтвердились и хоть здесь, у него нет проблем.
Напоследок, при помощи сервиса ahrefs.com, произвожу проверку обратных ссылок на анализируемый сайт. Как оказалось, у сайта нет как такового ссылочного, беглый анализ беклинков показал, что он, по всей видимости, имел место прогон по бесплатным и не более того. Проанализировав обратные ссылки основных конкурентов, можно смело писать в отчете еще и о том, что стоит попросить фрилансера, который продвигает сайт, о предоставлении детального отчета о расходах связанных с покупкой ссылок.
Резюмируя все вышесказанное, хочется посоветовать читателям (особенно тем, кто только осваивает SEO), только одно - следите за своим сайтом. Ведь даже небольшие, казалось бы, ошибки, могут стать серьезным противовесом и помешать вашему сайту выйти в ТОП.
Если у вас достаточно времени и желания, вы можете использовать все выше изложенное в качестве справки и попробовать провести аудит самостоятельно. Ну а для тех, у кого нет времени, или познаний в SEO, советую воспользоваться сервисом Rooletka - это просто и быстро.
Дмитрий Силаев, маркетолог Ingate Development
