robots.txt

Материал из Энциклопедия о программировании
Перейти к: навигация, поиск

robots.txt (роботы) — текстовый файл с указаниями правил индексирования сайта для поисковых систем.

Находится в «корне» сайта и всегда доступен всем поисковым машинам.

Название файла явно «robots», что в переводе «роботы», явно указывает на то, что файл предназначен исключительно для роботов, для поисковых машин (поисковых систем).

Нет единой спецификации файла robots.txt, есть лишь общие правила. У каждой поисковой системы свои стандарты, которые можно посмотреть в документации той или иной поисковой системе.

Ссылки

Шаблон:Поисковые машины Шаблон:Веб-сайты