Как закрыть страницы от индексации в файле robots.txt: пошаговая инструкция

Файл robots.txt — это текстовый файл, в котором содержаться инструкции для поисковых роботов, в частности каким роботам и какие страницы допускается сканировать, а какие нет.

Как закрыть страницы сайта от индексации через robots.txt

Disallow запрещает индексацию отдельной страницы или группы (в том числе всего сайта). Чаще всего используется для того, чтобы скрыть технические страницы, динамические или временные страницы.

Пример #1

# Полностью закрывает весь сайт от индексации

User-agent: *

Disallow: /

Пример #2

# Блокирует для скачивания все страницы раздела /category1/, например, /category1/page1/ или caterogy1/page2/

Disallow: /category1/

Закрытие страниц для индексации через файл robots.txt

Пример #3

# Блокирует для скачивания страницу раздела /category2/

User-agent: *

Disallow: /category1/$

Пример #4

# Дает возможность сканировать весь сайт просто оставив поле пустым

User-agent: *

Disallow:

Важно! Следует понимать, что регистр при использовании правил имеет значение, например, Disallow: /Category1/ не запрещает посещение страницы /category1/.

Где можно найти файл robots.txt и как его создать или редактировать

Чтобы проверить файл robots.txt сайта, следует добавить к домену «/robots.txt», примеры:

https://seopulses.ru/robots.txt
Пример файла robots.txt
https://serpstat.com/robots.txt
https://netpeak.net/robots.txt

Как создать и редактировать robots.txt

Вручную

Данный файл всегда можно найти, подключившись к FTP сайта или в файлом редакторе хостинг-провайдера в корневой папке сайта (как правило, public_html):

Изменение файла robots.txt на сервере

Далее открываем сам файл и можно его редактировать.

Пример редактирования файла robots.txt в Opencart

Если его нет, то достаточно создать новый файл.

Создание нового файла в на сервере

После вводим название документа и сохраняем.

Создание нового файла robots.txt в на сервере

Через модули/дополнения/плагины

Чтобы управлять данный файлом прямо в административной панели сайта следует установить дополнительный модуль:

  • Для 1С-Битрикс;
https://dev.1c-bitrix.ru/learning/course/?COURSE_ID=139&LESSON_ID=5814
Пример файла robots.txt в 1С-Битрикс
  • WordPress;
https://ru.wordpress.org/plugins/pc-robotstxt/
  • Для Opencart;
https://opencartforum.com/files/file/5141-edit-robotstxt/
  • Webasyst.
https://support.webasyst.ru/shop-script/149/shop-script-robots-txt/

Подписывайтесь на наш канал в Яндекс.Дзен

Подписывайтесь на наши социальные сети

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд (6 оценок, среднее: 5,00 из 5)
Загрузка...