У сайта может быть пул адресов, в которых используется кириллица. Найти ее очень легко: каждый символ для URL кодируется сначала в системе Unicode, a затем – в UTF-8. Во второй системе кириллическим символам присваиваются коды D0 и D1.
Видеоинструкция
Как заблокировать URL с кириллическими символами через robts.txt
Заблокировать кириллицу можно достаточно быстро – для этого можно использовать анализатор файла robots.txt в Яндекс.Вебмастер:
![Проверка robots.txt в Яндекс.Вебмастер](https://seopulses.ru/wp-content/uploads/2023/09/1-2-1024x431.jpg)
Открываем нужное поле и вводим URL сайта в верхнюю строку.
![Директивы robost.txt сайта в Яндекс.Вебмастер](https://seopulses.ru/wp-content/uploads/2023/09/2-2-1024x753.jpg)
Уточняем разрешение к индексации для интересующих нас URL – для этого копируем их в соответствующее поле и проверяем возможность сканирования.
![Проверка индексации кириллических URL в инструменте Яндекс.Вебмастер](https://seopulses.ru/wp-content/uploads/2023/09/3-2-1024x687.jpg)
В поле под адресом сайта вверху в строках Disallow вводим коды кириллических символов, которые хотим заблокировать:
- Disallow: *D0*
- Disallow: *D1*
Повторяем операцию для всех ботов в списке, собранном robots.txt.
![Блокировка кириллических URL в robots.txt](https://seopulses.ru/wp-content/uploads/2023/09/4-2-1024x757.jpg)
После проверки увидим, что страницы с кириллицей заблокированы.
![Проверка индексации заблокированных кириллических URL в инструменте Яндекс.Вебмастер](https://seopulses.ru/wp-content/uploads/2023/09/5-2-1024x665.jpg)
Готово.
Подписывайтесь на наш канал в Яндекс.Дзен
Подписывайтесь на наш Telegram-канал
Подписывайтесь на наш Youtube-канал
Подписывайтесь на нашу группу ВКонтакте