Накануне robots.txt отметил свой юбилей. Вот уже два десятилетия подряд вебмастера используют этот файл для частичного управления индексированием сайта поисковыми роботами. И не представляют, как бы без него обходились. Давайте окунемся в историю.
Середина 90-х гг. ознаменовалась бурным развитием поисковых сервисов в интернете. При индексации сайтов поисковики обрабатывали абсолютно все страницы. Вследствие этого назрела необходимость разработать специальное средство, указывающее поисковикам, что следует индексировать, а что нет.
Так в июне 1994 года Мартин Костер представил стандарт написания рабочих файлов robots.txt. Достаточно быстро данный стандарт начали поддерживать существующие тогда поисковые системы - WebCrawler, Lycos и AltaVista. И 20 лет спустя все крупные поисковики продолжают работать с robots.txt.
Предлагаем вам небольшое видео от Яндекса про то, как правильно обходиться с именинником:
И полезные ссылки, которые помогут вам в работе: Анализ robots.txt и Использование robots.txt