Энциклопедия LovePlanet.ru

Файл robots.txt - что это?

Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.

Структура файла robots.txt

Файл состоит из записей, каждая запись - из строк следующего вида:
имя_поля:[необязательные пробелы]значение[необязательные пробелы]

Каждая запись начинается одной или несколькими строками, где
имя_поля=User-agent

после чего следует одна или несколько строк, где
имя_поля=Disallow

Поле User-agent:

• Значением этого поля является имя робота, к которому применяются правила иключений;
• Если строк с User-agent несколько, то для всех роботов применяются одинаковые правила, которые содержаться в текущей записи;
• Правила для Яндекса - User-agent: Yandex
• Если значение поля равно «*», то правила применяются к любому роботу, для которого нет отдельной записи. В файле robots.txt может быть только одна запись с User-agent: *.

Поле Disallow:

• В значении поля Disallow указывается частичный или полный путь (URL) к странице, закрытой от индексации;
• Пустое значение (Disallow: ) интерпретируется как разрешение на индексацию любой страницы;
• В записи должно быть хотя бы одно поле Disallow.

Директива Host:

Во избежания возникновения проблем с зеркалом/ами сайта, рекомендуется использовать директиву «Host». Директива «Host» указывает роботу Яндекса на главное зеркало данного сайта.

Пример файла robots.txt для LovePlanet

User-Agent:*
Disallow: /image/
Disallow: /a-humor/
Disallow: /a-victory/
Disallow: /a-loveline/

User-agent: Yandex
Disallow: /a
Disallow: /p

Host: znakomstva-v-krasnojarske.ru

 Этот файл запрещает индексировать:

• всем поисковым системам разделы сайта /image/, /a-humor/, /a-victory/, /a-loveline/
• Яндексу страницы, начинающиеся с /a, /p

Кроме того для Яндекса указан основной домен: znakomstva-v-krasnojarske.ru (а не www.znakomstva-v-krasnojarske.ru)

Как прописать robots.txt

В панели управления LovePlanet переходим на вкладку "Дизайн" - ROBOTS.TXT

Выбираем нужный домен и вставляем текст файла