Robots.txt: 20 лет спустя

Robots.txt

Robots.txt

Накануне robots.txt отметил свой юбилей. Вот уже два десятилетия подряд вебмастера используют этот файл для частичного управления индексированием сайта поисковыми роботами. И не представляют, как бы без него обходились. Давайте окунемся в историю.

Середина 90-х гг. ознаменовалась бурным развитием поисковых сервисов в интернете. При индексации сайтов поисковики обрабатывали абсолютно все страницы. Вследствие этого назрела необходимость разработать специальное средство, указывающее поисковикам, что следует индексировать, а что нет.

Так в июне 1994 года Мартин Костер представил стандарт написания рабочих файлов robots.txt. Достаточно быстро данный стандарт начали поддерживать существующие тогда поисковые системы - WebCrawler, Lycos и AltaVista. И 20 лет спустя все крупные поисковики продолжают работать с robots.txt.

Предлагаем вам небольшое видео от Яндекса про то, как правильно обходиться с именинником:

И полезные ссылки, которые помогут вам в работе: Анализ robots.txt и Использование robots.txt