Программа Screaming Frog помогает решить множество задач для SEO, однако в некоторых случаях ее работа может быть затруднена. К примеру, на сайте стоит блокировка на определенный User Agent, поэтому сделать парсинг не получается либо же сайт скрывает от пользователей данные, которые он передает поисковым роботам. Впрочем, и в самой программе можно попробовать обойти этот запрет следующим образом.
Видеоинструкция
Как изменить User Agent в Screaming Frog Seo Spider
Открываем Screaming Frog, нажимаем кнопку Upload в верхней части и далее переходим на ручную загрузку (Enter Manually).
![Ввод URL для парсинга сайта в Screaming Frog Seo Spider](https://seopulses.ru/wp-content/uploads/2023/09/1-1.jpg)
В открывшееся окно вводим URL-адрес, который нас интересует.
![Ввод сайта с заблокированной индексацией в Screaming Frog](https://seopulses.ru/wp-content/uploads/2023/09/2-1.jpg)
Если в результатах парсинга стоят нули и стоит ошибка сканирования (пример код 609), значит, сайт не отдал никаких данных, и необходимо сменить User Agent.
![Блокировка парсинга URL через Screaming Frog](https://seopulses.ru/wp-content/uploads/2023/09/3-1.jpg)
Для этого переходим в меню Configuration и выбираем User Agent из выпадающего списка.
![Переход в настройки User-Agent в Скриминг Фрог](https://seopulses.ru/wp-content/uploads/2023/09/4-1.jpg)
Нажав на верхнюю строчку в открывшемся окне, мы увидим список доступных ботов – Google-бот, Яндекс-бот и так далее.
![Выбор User-Agent для парсинга в Screaming Frog](https://seopulses.ru/wp-content/uploads/2023/09/5-1-1024x648.jpg)
![Все возможные User-Agent в Screaming Frog](https://seopulses.ru/wp-content/uploads/2023/09/6-1-1024x648.jpg)
Выбираем нужного (или рандомного) бота из списка – данные HTTP-запроса в строке ниже изменятся автоматически. Подтверждаем выбор.
![Выбор в качестве User-Agent бота Google для мобильных в Скриминг Фрог](https://seopulses.ru/wp-content/uploads/2023/09/7-1-1024x649.jpg)
Далее снова пробуем парсить сайт с новым User Agent через Upload и ручную загрузку.
![Парсинг сайта через новый User Agent в Screaming Frog](https://seopulses.ru/wp-content/uploads/2023/09/8-1.jpg)
Как правило, в этом случае из системы получается вытащить данные, которые обычно доступны для Google-бота. При этом мета-теги для посетителей сайта и для роботов могут отличаться.
![Проверка вида страницы через новый User Agent в Screaming Frog](https://seopulses.ru/wp-content/uploads/2023/09/9-1.jpg)
При необходимости вы можете попробовать любые другие боты из предложенных программой Screaming Frog для более качественного и беспроблемного парсинга.
![Оригинал страницы для пользователей](https://seopulses.ru/wp-content/uploads/2023/09/10-1-1024x848.jpg)
Подписывайтесь на наш канал в Яндекс.Дзен
Подписывайтесь на наш Telegram-канал
Подписывайтесь на наш Youtube-канал
Подписывайтесь на нашу группу ВКонтакте