Анализ robots.txt в Яндекс.Вебмастер: что это и как использовать?

Анализ robots.txt в Яндекс.Вебмастер — это простой и удобный способ сканирования файла robots.txt, позволяющий увидеть историю его изменений и сразу проверить, какие URL он запрещает или разрешает сканировать.

Анализ robots.txt для подтвержденного сайта в Yandex.Webmaster

После подключения к Вебмастеру владельцу сайта достаточно перейти в раздел «Инструменты»-«Анализ robots.txt».

Переход в Анализ robots.txt в Яндекс.Вебмастер

Здесь в окне будет представлен весь обработанный файл.

При необходимости можно посмотреть и более старые версии сайта.

Проверка версии файла robots.txt в Яндекс Вебмастер

Также возможно скачивание файла.

Скачивание robots.txt в Яндекс.Вебмастер

В нижней части экрана можно увидеть результаты анализа и вывести список ошибок.

Результаты анализа файла robots.txt в Yandex Webmaster

Далее идет инструмент проверки возможности сканирования, где достаточно ввести необходимые URL (одному в строчке) и нажимаем на кнопку «Проверить».

Проверка сканирования URL через анализ проверки файлов robots.txt

Важно! За 1 запрос можно проверить не более 100 URL.

Далее можно будет увидеть следующие статусы:

  • Выделено красным. Робот Яндекса не может сканировать страницу;
  • Зеленая галочка. Лендинг разрешен к индексации.

Для не подтвержденных сайтов

Если анализ идет на чужом домене (подтвержден в сервисе), то достаточно перейти на страницу под своим Яндекс.Аккаунтом:

https://webmaster.yandex.ru/tools/robotstxt/
Проверка файла robots.txt в Яндекс.Вебмастер без подтверждения сайта

После чего также появляется возможность делать анализ, за исключением возможности анализировать более старые версии.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд (4 оценок, среднее: 5,00 из 5)
Загрузка...