Яндекс изменил обработку директивы Allow. Теперь поисковые роботы не учитывают пустую директиву Allow как запрещающий сигнал в robots.txt, а будут ее игнорировать. Давайте обсудим, как теперь с этим жить.
«Часто индексирующий робот не может получить доступ к сайтам из-за установленного по ошибке в robots.txt запрета на посещение всех страниц. Часть этих ошибок связана с использованием пустой директивы Allow.
Ранее робот интерпретировал это правило как полностью запрещающее, что делало сайт недоступным для посещения роботов, и такие сайты не могли показываться в результатах поиска. Когда же владельцы сайтов намеренно хотели запретить посещение сайтов, они обычно четко прописывали команду запрета», - Яндекс.
Теперь если на вашем сайте намеренно используются пустое правило Allow в robots.txt, то для того, чтобы робот корректно учитывал запрет, правило нужно изменить на директиву Disallow:
На наш взгляд, такая ошибка встречается нечасто. Возможно, у Яндекса другие данные, раз было принято решение изменить подход. Отметим, что незаполненная директива Allow – это именно ошибка, которая допускается по незнанию или невнимательности. Таким образом, нововведение Яндекса - еще один шаг в сторону вебмастеров, который упростит работу по настройке и продвижению сайта.
Возможно, через какое-то время Яндекс доберется и до директивы Disallow :)
