Как поменять User Agent в Screaming Frog Seo Spider

Программа Screaming Frog помогает решить множество задач для SEO, однако в некоторых случаях ее работа может быть затруднена. К примеру, на сайте стоит блокировка на определенный User Agent, поэтому сделать парсинг не получается либо же сайт скрывает от пользователей данные, которые он передает поисковым роботам. Впрочем, и в самой программе можно попробовать обойти этот запрет следующим образом.

Видеоинструкция

Как изменить User Agent в Screaming Frog Seo Spider

Открываем Screaming Frog, нажимаем кнопку Upload в верхней части и далее переходим на ручную загрузку (Enter Manually).

В открывшееся окно вводим URL-адрес, который нас интересует.

Если в результатах парсинга стоят нули и стоит ошибка сканирования (пример код 609), значит, сайт не отдал никаких данных, и необходимо сменить User Agent.

Для этого переходим в меню Configuration и выбираем User Agent из выпадающего списка.

Нажав на верхнюю строчку в открывшемся окне, мы увидим список доступных ботов – Google-бот, Яндекс-бот и так далее.

Выбираем нужного (или рандомного) бота из списка – данные HTTP-запроса в строке ниже изменятся автоматически. Подтверждаем выбор.

Далее снова пробуем парсить сайт с новым User Agent через Upload и ручную загрузку.

Как правило, в этом случае из системы получается вытащить данные, которые обычно доступны для Google-бота. При этом мета-теги для посетителей сайта и для роботов могут отличаться.

При необходимости вы можете попробовать любые другие боты из предложенных программой Screaming Frog для более качественного и беспроблемного парсинга.