Файл, який використовується для спрямування або повідомлень веб-ботів про те, які сторінки та каталоги індексувати або не індексувати. Цей файл повинен бути розміщений у кореневому каталозі на сервері, на якому розміщено ваші сторінки. Файл має бути названий robots.txt і повинен мати права на читання. Нижче наведено приклад файлу robots.txt.

 # robots.txt файл для //www.computerhope.comUser-agent: * Disallow: / directory1 / 
Заборонити: / directory2 /

У наведеному вище прикладі robots.txt перший рядок є невиконаним оператором, який описує файл. Потім рядок User-agent повідомляє, які роботи або боти повинні виконувати цей розділ файлу. У наведеному вище прикладі * представляє всі боти. Нарешті, наступні два рядки - це два каталоги, які не потрібно індексувати.

Якщо ви хочете дозволити боту запитувати всі URL-адреси вашого веб-сайту, введіть ім'я бота з наступним забороною: з порожнім значенням, як показано в прикладі нижче.

 Агент користувача: Somebot *
Заборонити: 

Терміни Інтернету, мета-теги, робот, терміни SEO, карта сайту, умови веб-дизайну