Как проверить файл robots.txt: пошаговая инструкция

Файл robots.txt — это текстовый файл, в котором содержаться инструкции для поисковых роботов, в частности каким роботам и какие страницы допускается сканировать, а какие нет.

Как проверить работу файла robots.txt в Яндекс.Вебмастер

В Яндекс.Вебмастер в разделе «Инструменты→ Анализ robots.txt» можно увидеть используемый поисковиком свод правил и наличие ошибок в нем.

Проверка файла robots.txt в Яндекс.Вебмастер

Также можно скачать другие версии файла или просто ознакомиться с ними.

Проверка версий файла robots.txt в Яндекс.Вебмастер

Чуть ниже имеется инструмент, который дает возможно проверить сразу до 100 URL на возможность сканирования.

В нашем случае мы проверяем эти правила.

Файла robots.txt с директивой для отдельных страниц

Как видим из примера все работает нормально.

Проверка директив для файла robots.txt в Яндекс.Вебмастер
Проверка директив для файла robots.txt в Яндекс.Вебмастер для закрытия индексации

Также если воспользоваться сервисом «Проверка ответа сервера» от Яндекса также будет указано, запрещен ли для сканирования документ при попытке обратиться к нему.

Проверка закрытия от индексации в проверке ответа сервера в Яндекс

В Google Search Console

В случае с Google можно воспользоваться инструментом проверки Robots.txt, где потребуется в первую очередь выбрать нужный сайт.

Выбор сайта для проверки файла robots.txt в Google

Важно! Ресурсы-домены в этом случае выбирать нельзя.

Теперь мы видим:

  • Сам файл;
  • Кнопку, открывающую его;
  • Симулятор для проверки сканирования.
Проверка файла robots.txt в Гугл Вебмастер

Если в симуляторе ввести заблокированный URL, то можно увидеть правило, запрещающее сделать это и уведомление «Недоступен».

Проверка файла robots.txt в Google Webmaster

Однако, если ввести заблокированный URL в страницу поиска в новой Google Search Console (или запросить ее индексирование), то можно увидеть, что страница заблокирована в файле robots.txt.

Проверка индексации сайта в Google Search Console

Подписывайтесь на наш канал в Яндекс.Дзен

Подписывайтесь на наши социальные сети

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд (4 оценок, среднее: 5,00 из 5)
Загрузка...