
Файл robots.txt – это файл, который ограничивает доступ поисковым роботам, к содержимому вашего блога или сайта на сервере, частично ограничивая индексацию страниц. Robots.txt – представляет собой текстовой файл с набором определенных инструкций для поисковых систем, с помощью которых можно и нужно запрещать индексацию некоторых каталогов и страниц блога, которые не должны индексироваться. Напомню что индексация…