Файл robots.txt - це текстовий файл, що знаходиться в кореневій директорії сайту, в якому записуються спеціальні інструкції для пошукових роботів. Ці інструкції можуть забороняти до індексації деякі розділи або сторінки на сайті, рекомендувати пошуковому роботові дотримуватися певного часового інтервалу між скачуванням документів з сервера і так далі.
Як створити robots.txt
Скористайтеся будь-яким текстовим редактором (наприклад, Блокнотом або WordPad'ом), створіть файл з ім'ям "robots.txt" і заповніть його відповідно до поданих нижче правил. Після цього необхідно завантажити файл у кореневий каталог вашого сайту.
Щоб перевірити правильність обробки вашого файлу robots.txt, скористайтеся аналізатором файлу robots.txt.
Теорія і практика роботи з robots.txt
Іноді веб-майстрові потрібно закрити від індексації частину сайту. Це завдання легко вирішуване, оскільки більшість Web Роботів дозволяють адміністраторам сайтів обмежити свою поведінку на сайті. Це можна зробити декількома способами :
- Можна вказати, які частини сайту не повинні відвідуватися роботами, розмістивши файл, що спеціально відформатований, в корені сайту - http://www.site - name.ru/robots.txt
- Адміністратор може вказати, що сторінка може бути проіндексована або ні, або проаналізована на наявність посилань, використовуючи спеціальний HTML META тег.
- Використати нестандартні прийоми, які працюють для конкретних роботів. Наприклад заборонити роботові слідувати по посиланню за допомогою rel="nofollow"(Google, MSN, Yahoo) або заборонити індексацію частини сторінки за допомогою тега <noindex> (Yandex, Rambler).
Слід зазначити, що усі ці методи не дають стовідсоткової гарантії. Деякі роботи можуть просто не звертати на них увагу.
Стандарт виключень для Роботів
Стандарт виключень для роботів був прийнятий в 1994 році і відтоді не мінявся. Стандарт описує загальні принципи написання robots.txt. Коротко - при заході на сайт робот просить файл robots.txt, щоб подивитися, які розділи і документи на сайті заборонені для нього.
Важливо пам'ятати, що стандарт є необов'язковим, і його дотримуються тільки "ввічливі і культурні" роботи. Врядче ви зможете за допомогою його заборонити, наприклад, доступ для роботів тих, що крадуть у вас контент.