Файл robots.txt — это текстовый файл, в котором содержаться инструкции для поисковых роботов, в частности каким роботам и какие страницы допускается сканировать, а какие нет.
Как проверить работу файла robots.txt в Яндекс.Вебмастер
В Яндекс.Вебмастер в разделе «Инструменты→ Анализ robots.txt» можно увидеть используемый поисковиком свод правил и наличие ошибок в нем.
![Проверка файла robots.txt в Яндекс.Вебмастер](https://seopulses.ru/wp-content/uploads/2021/01/7-1024x757.png)
Также можно скачать другие версии файла или просто ознакомиться с ними.
![Проверка версий файла robots.txt в Яндекс.Вебмастер](https://seopulses.ru/wp-content/uploads/2021/01/8.png)
Чуть ниже имеется инструмент, который дает возможно проверить сразу до 100 URL на возможность сканирования.
В нашем случае мы проверяем эти правила.
![Файла robots.txt с директивой для отдельных страниц](https://seopulses.ru/wp-content/uploads/2021/01/9-1024x636.png)
Как видим из примера все работает нормально.
![Проверка директив для файла robots.txt в Яндекс.Вебмастер](https://seopulses.ru/wp-content/uploads/2021/01/10-1024x712.png)
![Проверка директив для файла robots.txt в Яндекс.Вебмастер для закрытия индексации](https://seopulses.ru/wp-content/uploads/2021/01/11-1024x589.png)
Также если воспользоваться сервисом «Проверка ответа сервера» от Яндекса также будет указано, запрещен ли для сканирования документ при попытке обратиться к нему.
![Проверка закрытия от индексации в проверке ответа сервера в Яндекс](https://seopulses.ru/wp-content/uploads/2021/01/12-1024x357.png)
В Google Search Console
В случае с Google можно воспользоваться инструментом проверки Robots.txt, где потребуется в первую очередь выбрать нужный сайт.
![Выбор сайта для проверки файла robots.txt в Google](https://seopulses.ru/wp-content/uploads/2021/01/13-1024x438.png)
Важно! Ресурсы-домены в этом случае выбирать нельзя.
Теперь мы видим:
- Сам файл;
- Кнопку, открывающую его;
- Симулятор для проверки сканирования.
![Проверка файла robots.txt в Гугл Вебмастер](https://seopulses.ru/wp-content/uploads/2021/01/14-1024x558.png)
Если в симуляторе ввести заблокированный URL, то можно увидеть правило, запрещающее сделать это и уведомление «Недоступен».
![Проверка файла robots.txt в Google Webmaster](https://seopulses.ru/wp-content/uploads/2021/01/15-1024x499.png)
Однако, если ввести заблокированный URL в страницу поиска в новой Google Search Console (или запросить ее индексирование), то можно увидеть, что страница заблокирована в файле robots.txt.
![Проверка индексации сайта в Google Search Console](https://seopulses.ru/wp-content/uploads/2021/01/16-1024x646.png)
Подписывайтесь на наш канал в Яндекс.Дзен
Подписывайтесь на наш Telegram-канал
Подписывайтесь на наш Youtube-канал
Подписывайтесь на нашу группу ВКонтакте