Файл sitemap — это основной инструмент, через который как seo-оптимизатор, продуктовая команда, так и поисковые роботы Google и Яндекс берут списки страниц сайта. Чтобы он эффективно работал и в индекс не попадали ненужные страницы, а также не тратились ресурсы команды и поисковых роботов на сканирование закрытых или проблемных url, его необходимо регулярно проверять. В данной статье представлен автоматический и быстрый способ проверки с выводом уже готовых списков ошибок.
Из блока sitemap:
Далее нужно будет запустить среду разработки (IDE), позволяющую использовать Python, и скачать скрипт для запуска:
После ввести в данном месте sitemap (заменив на свой).
Дождаться окончания проверки.
Все готово, файлы ошибок и проблем готовы, теперь их нужно найти по следующим данным:
| Наименование файла | Описание |
| robots.txt | Скачанный для домена файл robots.txt |
| sitemap-encoding.txt | Ссылки на sitemap, кодировка не utf-8 |
| sitemap-format.txt | Ссылки на sitemap не в формате .txt или .xml |
| sitemap-weight.txt | Ссылки на sitemap, вес которых более 50 Мб. |
| Наименование файла | Описание |
| url-all.txt | Все url, найденные в файлах sitemap |
| url-300.txt | Ссылки на url из sitemap с кодом ответа 3** |
| url-400.txt | Ссылки на url из sitemap с кодом ответа 4** |
| url-500.txt | Ссылки на url из sitemap с кодом ответа 5** |
| url-no-response.txt | Ссылки на url из sitemap без ответа |
| url-noindex.txt | Ссылки на url из sitemap, которые закрыты тегом noindex |
| url-robots-noindex.txt | Ссылки на url из sitemap, которые от индексации в файле robots.txt. |
Из каких элементов состоят файлы с url:
| Наименование файла | Описание |
| url | url страницы сайта |
| h1 | Заголовок h1 |
| title | Title страницы |
| description | Description страницы |
| sitemap | Sitemap, в котором найден url |
| код ответа | Код ответа страницы: 200, 3**, 4***, 5** |
| noindex | Закрыта ли страница от индексации через noindex. Нет, если не закрыта, если найден meta robots noindex, то будет стоять Да |
| закрыт в robots.txt | Закрыта ли страница от индексации через robots.txt. Нет, если не закрыта, если найдена директива, закрывающая страницу, то будет стоять Да. |
| директива robots.txt | Директива в robots.txt, которая запрещает индексирование данной страницы. |
По полученным файлам составляем ТЗ для разработчика на исключение из sitemap проблемных элементов или же на удаление ряда директив или meta robots noindex с части страниц.
Дата публикации: 31/07/2026
Дата обновления: 31/07/2026
Добавить комментарий