Как заблокировать индексацию URL с кириллическими символами через robots.txt?

У сайта может быть пул адресов, в которых используется кириллица. Найти ее очень легко: каждый символ для URL кодируется сначала в системе Unicode, a затем – в UTF-8. Во второй системе кириллическим символам присваиваются коды D0 и D1.

Видеоинструкция

Как заблокировать URL с кириллическими символами через robts.txt

Заблокировать кириллицу можно достаточно быстро – для этого можно использовать анализатор файла robots.txt в Яндекс.Вебмастер:

Открываем нужное поле и вводим URL сайта в верхнюю строку.

Уточняем разрешение к индексации для интересующих нас URL – для этого копируем их в соответствующее поле и проверяем возможность сканирования.

В поле под адресом сайта вверху в строках Disallow вводим коды кириллических символов, которые хотим заблокировать:

• Disallow: *D0*
• Disallow: *D1*

Повторяем операцию для всех ботов в списке, собранном robots.txt.

После проверки увидим, что страницы с кириллицей заблокированы.

Готово.