Strict Standards: Declaration of w_tools_def_mass_ajax::IsNoLimitTool() should be compatible with w_tools_gen_obj::IsNoLimitTool($ident) in /home/a/anwintew/webmasta.org/public_html/lib/tools.control.lib.php on line 0 Генератор файлов robots.txt
 
Пользователей: 5872 Проанализировано сайтов: 125111 Сайтов на мониторинге: 2773 Зафиксировано апдейтов: 1843

Генератор файлов robots.txt

Чтобы поисковые роботы не индексировали те или иные страницы сайта, необходимо создать файл robots.txt. Именно в нем указываются те директории, которые не должны отображаться в результатах выдачи. Кроме того, можно запретить к индексации и весь сайт. Введите в пустую строку адрес сайта и выберите необходимые параметры генерации файла robots.txt, полученный результат необходимо поместить в корневую папку исходного сайта.
Адрес сайта (без http://, только домен)
User-agent:
Disallow:
Host:
SiteMap:
Результат, содержимое файла robots.txt  
Авторизация