• Главная»
  • Уроки»
  • Разное»
  • Как правильно использовать файл robots.txt для запрета индексации файлов и папок?

Как правильно использовать файл robots.txt для запрета индексации файлов и папок?

В данном уроке пойдёт речь о закрытии доступа поисковым ботам к тем разделам сайта, которые не следует индексировать. Проще всего это сделать с помощью файла robots.txt, который необходимо разместить в корне сервера.

В этот фаил можно вносить несколько параметров. Первый из них, это параметр User-agent, который указывает на то, какому именно поисковику Вы хотите запретить индексацию тех или иных каталогов или страниц.

Если Вы хотите отнести ваш запрет одновременно ко всем поисковым ботам, то поставьте в это поле звездочку (*).

Далее идет параметр Disallow, который указывает какие именно папки и файлы не нужно индексировать.

Например, нам необходимо запретить поисковику доступ к папкам с изображениями, скриптами, временными файлами, а также к файлам страниц ошибок.

Вот как это будет выглядеть:

User-agent: *
Disallow: /error404.php
Disallow: /error500.php
Disallow: /img/
Disallow: /cgi-bin/
Disallow: /temp/

Таким образом мы запретили поисковым ботам индексировать некоторые страницы и разделы сайта.

Напомню, что набирается всё это дело в обыкновенном блокноте, а затем копируется в корень сервера с помощью FTP клиента обязательно в режиме ASCII (современные FTP клиенты делают это автоматически).

Вот Вам ещё на всякий случай названия самых популярных в рунете поисковых ботов:

Вот самые распространённые в Рунете поисковые боты.

Рамблер - StackRambler

Яндекс - Yandex

Google - Googlebot

MSN – msnbot

Пользуйтесь на здоровье!

Данный урок подготовлен для вас командой сайта ruseller.com
Источник урока: www.ruseller.com
Автор: Евгений Попов
Урок создан: 21 Декабря 2007
Просмотров: 37150
Правила перепечатки


5 последних уроков рубрики "Разное"

^ Наверх ^