Редакция Rookee 
А вы сталкивались с такой ситуацией, когда страницы, закрытые от поисковых роботов, всё же попадали в результаты поиска и становились доступными для пользователей? Если да, то это сообщение Платона Щукина для вас.
Индексирующий робот Яндекса при обходе любого сайта строго соблюдает те правила, которые заданы в robots.txt. Этот файл служит для него своеобразной инструкцией, которую нельзя нарушать. Чтобы все установленные директивы использовались роботом при посещении сайта, необходимо соблюдать ряд условий:
• Файл robots.txt должен располагаться в корневом каталоге сайта, то есть быть доступен по адресу вида site.ru/robots.txt. Он не может располагаться на другом сайте, поддомене или в другой директории сайта.
• Чтобы директивы из robots.txt были учтены роботом, при его обращении к файлу должен возвращаться код HTTP 200. Если же файл осуществляет перенаправление или отвечает любым другим кодом, отличным от 200, робот не сможет получить его содержимое.<.p>
• Размер файла не должен превышать 32Кб, в противном случае робот посчитает такую инструкцию чрезмерно сложной или ошибочной и будет воспринимать её, как полностью разрешающую.
• Если в robots.txt присутствуют правила для нескольких индексирующих роботов, робот Яндекса будет использовать только те, которые предназначены именно для него, т.е. размещенные после строки "User-agent: Yandex".
• Если робот встретит конфликтующие директивы, например:
User-agent: YandexAllow: /
Disallow: *
то он выберет разрешающее правило, которое позволит страницам участвовать в поиске.
Если будут выполняться, то вы можете быть уверены, что робот учтет заданные вами правила индексирования, а страницы и директории, запрещённые в robots.txt, не будут им посещаться и не смогут появиться в результатах поиска.
Обратите внимание: после редактирования robots.txt информация в поиске обновляется не сразу, обычно это происходит в течение 1-2 недель.
Отметим также, что с помощью "" вы можете самостоятельно проверить корректность настроек файла robots.txt.
