Что такое robots.txt?

Robots.txt — это инструкция для поисковых роботов, обычно хранящаяся в корневой папке сайта. С её помощью можно контролировать поведение роботов — например, запретить им индексировать определённое содержимое сайта.

При посещении сайта поисковик запрашивает robots.txt в первую очередь.

Рассмотрим на примере.

Имеется файл robots.txt, в котором записано:

User-agent: *
Disallow: /tmp/
Disallow: /cgi-bin/

• Знак «*» после User-agent сообщает об общем доступе к содержимому robots.txt — им может воспользоваться любой поисковой робот. Вместо этого знака также можно вписать название конкретного робота.
• Disallow запрещает роботу индексировать один из разделов. Так, если в robots.txt прописано «Disallow: /» - значит, роботу запрещено индексировать весь сайт.

Запретить индексацию можно и при помощи атрибута nofollow и тега noindex, но поисковые системы негативно относятся к этим запретам.