Анализ robots.txt в Яндекс.Вебмастер — это простой и удобный способ сканирования файла robots.txt, позволяющий увидеть историю его изменений и сразу проверить, какие URL он запрещает или разрешает сканировать.
Видеоинструкция
Анализ robots.txt для подтвержденного сайта в Yandex.Webmaster
После подключения к Вебмастеру владельцу сайта достаточно перейти в раздел «Инструменты»-«Анализ robots.txt».
![Переход в Анализ robots.txt в Яндекс.Вебмастер](https://seopulses.ru/wp-content/uploads/2020/02/1-13-1024x408.png)
Здесь в окне будет представлен весь обработанный файл.
При необходимости можно посмотреть и более старые версии сайта.
![Проверка версии файла robots.txt в Яндекс Вебмастер](https://seopulses.ru/wp-content/uploads/2020/02/2-12.png)
Также возможно скачивание файла.
![Скачивание robots.txt в Яндекс.Вебмастер](https://seopulses.ru/wp-content/uploads/2020/02/4-12-1024x304.png)
В нижней части экрана можно увидеть результаты анализа и вывести список ошибок.
![Результаты анализа файла robots.txt в Yandex Webmaster](https://seopulses.ru/wp-content/uploads/2020/02/3-12.png)
Далее идет инструмент проверки возможности сканирования, где достаточно ввести необходимые URL (одному в строчке) и нажимаем на кнопку «Проверить».
![Проверка сканирования URL через анализ проверки файлов robots.txt](https://seopulses.ru/wp-content/uploads/2020/02/5-13-1024x435.png)
Важно! За 1 запрос можно проверить не более 100 URL.
Далее можно будет увидеть следующие статусы:
- Выделено красным. Робот Яндекса не может сканировать страницу;
- Зеленая галочка. Лендинг разрешен к индексации.
Для не подтвержденных сайтов
Если анализ идет на чужом домене (подтвержден в сервисе), то достаточно перейти на страницу под своим Яндекс.Аккаунтом:
![Проверка файла robots.txt в Яндекс.Вебмастер без подтверждения сайта](https://seopulses.ru/wp-content/uploads/2020/02/6-11-1024x256.png)
После чего также появляется возможность делать анализ, за исключением возможности анализировать более старые версии.
Подписывайтесь на наш канал в Яндекс.Дзен
Подписывайтесь на наш Telegram-канал
Подписывайтесь на наш Youtube-канал
Подписывайтесь на нашу группу ВКонтакте