Пользователей: 5841 Проанализировано сайтов: 125111 Сайтов на мониторинге: 2769 Зафиксировано апдейтов: 1768

Генератор файлов robots.txt

Чтобы поисковые роботы не индексировали те или иные страницы сайта, необходимо создать файл robots.txt. Именно в нем указываются те директории, которые не должны отображаться в результатах выдачи. Кроме того, можно запретить к индексации и весь сайт. Введите в пустую строку адрес сайта и выберите необходимые параметры генерации файла robots.txt, полученный результат необходимо поместить в корневую папку исходного сайта.
Адрес сайта (без http://, только домен)
User-agent:
Disallow:
Host:
SiteMap:
Результат, содержимое файла robots.txt  
Авторизация