Файл robots.txt — это текстовый файл, в котором содержаться инструкции для поисковых роботов, в частности каким роботам и какие страницы допускается сканировать, а какие нет.
Как закрыть страницы сайта от индексации через robots.txt
Disallow запрещает индексацию отдельной страницы или группы (в том числе всего сайта). Чаще всего используется для того, чтобы скрыть технические страницы, динамические или временные страницы.
Пример #1
# Полностью закрывает весь сайт от индексации
User-agent: *
Disallow: /
Пример #2
# Блокирует для скачивания все страницы раздела /category1/, например, /category1/page1/ или caterogy1/page2/
Disallow: /category1/
![Закрытие страниц для индексации через файл robots.txt](https://seopulses.ru/wp-content/uploads/2021/02/2-6.png)
Пример #3
# Блокирует для скачивания страницу раздела /category2/
User-agent: *
Disallow: /category1/$
Пример #4
# Дает возможность сканировать весь сайт просто оставив поле пустым
User-agent: *
Disallow:
Важно! Следует понимать, что регистр при использовании правил имеет значение, например, Disallow: /Category1/ не запрещает посещение страницы /category1/.
Где можно найти файл robots.txt и как его создать или редактировать
Чтобы проверить файл robots.txt сайта, следует добавить к домену «/robots.txt», примеры:
![Пример файла robots.txt](https://seopulses.ru/wp-content/uploads/2021/01/1-1024x808.png)
Как создать и редактировать robots.txt
Вручную
Данный файл всегда можно найти, подключившись к FTP сайта или в файлом редакторе хостинг-провайдера в корневой папке сайта (как правило, public_html):
![Изменение файла robots.txt на сервере](https://seopulses.ru/wp-content/uploads/2021/02/1-1.png)
Далее открываем сам файл и можно его редактировать.
![Пример редактирования файла robots.txt в Opencart](https://seopulses.ru/wp-content/uploads/2021/01/3.png)
Если его нет, то достаточно создать новый файл.
![Создание нового файла в на сервере](https://seopulses.ru/wp-content/uploads/2021/02/2-1.png)
После вводим название документа и сохраняем.
![Создание нового файла robots.txt в на сервере](https://seopulses.ru/wp-content/uploads/2021/02/3-1.png)
Через модули/дополнения/плагины
Чтобы управлять данный файлом прямо в административной панели сайта следует установить дополнительный модуль:
- Для 1С-Битрикс;
![Пример файла robots.txt в 1С-Битрикс](https://seopulses.ru/wp-content/uploads/2021/01/4-1024x733.png)
- WordPress;
- Для Opencart;
- Webasyst.
Подписывайтесь на наш канал в Яндекс.Дзен
Подписывайтесь на наш Telegram-канал
Подписывайтесь на наш Youtube-канал
Подписывайтесь на нашу группу ВКонтакте