Robots.txt: 20 лет спустя

Хочешь в ТОП? Хватит хотеть, пора действовать!

Начать продвижение

Robots.txt: 20 лет спустя

Опубликовано: 01 июля 2014
4.2к
Москва г. Москва, ул. Нобеля 7, п. 56 +7 (800) 700-59-30

Robots.txt
Robots.txt Robots.txt

Накануне robots.txt отметил свой юбилей. Вот уже два десятилетия подряд вебмастера используют этот файл для частичного управления индексированием сайта поисковыми роботами. И не представляют, как бы без него обходились. Давайте окунемся в историю.

Середина 90-х гг. ознаменовалась бурным развитием поисковых сервисов в интернете. При индексации сайтов поисковики обрабатывали абсолютно все страницы. Вследствие этого назрела необходимость разработать специальное средство, указывающее поисковикам, что следует индексировать, а что нет.

Так в июне 1994 года Мартин Костер представил стандарт написания рабочих файлов robots.txt. Достаточно быстро данный стандарт начали поддерживать существующие тогда поисковые системы - WebCrawler, Lycos и AltaVista. И 20 лет спустя все крупные поисковики продолжают работать с robots.txt.

Предлагаем вам небольшое видео от Яндекса про то, как правильно обходиться с именинником:

И полезные ссылки, которые помогут вам в работе: Анализ robots.txt и Использование robots.txt


Оценить статью

6 5