Как поменять User Agent в Screaming Frog Seo Spider

Программа Screaming Frog помогает решить множество задач для SEO, однако в некоторых случаях ее работа может быть затруднена. К примеру, на сайте стоит блокировка на определенный User Agent, поэтому сделать парсинг не получается либо же сайт скрывает от пользователей данные, которые он передает поисковым роботам. Впрочем, и в самой программе можно попробовать обойти этот запрет следующим образом.

Видеоинструкция

Как изменить User Agent в Screaming Frog Seo Spider

Открываем Screaming Frog, нажимаем кнопку Upload в верхней части и далее переходим на ручную загрузку (Enter Manually).

Ввод URL для парсинга сайта в Screaming Frog Seo Spider

В открывшееся окно вводим URL-адрес, который нас интересует.

Ввод сайта с заблокированной индексацией в Screaming Frog

Если в результатах парсинга стоят нули и стоит ошибка сканирования (пример код 609), значит, сайт не отдал никаких данных, и необходимо сменить User Agent.

Блокировка парсинга URL через Screaming Frog

Для этого переходим в меню Configuration и выбираем User Agent из выпадающего списка.

Переход в настройки User-Agent в Скриминг Фрог

Нажав на верхнюю строчку в открывшемся окне, мы увидим список доступных ботов – Google-бот, Яндекс-бот и так далее.

Выбор User-Agent для парсинга в Screaming Frog
Все возможные User-Agent в Screaming Frog

Выбираем нужного (или рандомного) бота из списка – данные HTTP-запроса в строке ниже изменятся автоматически. Подтверждаем выбор.

Выбор в качестве User-Agent бота Google для мобильных в Скриминг Фрог

Далее снова пробуем парсить сайт с новым User Agent через Upload и ручную загрузку.

Парсинг сайта через новый User Agent в Screaming Frog

Как правило, в этом случае из системы получается вытащить данные, которые обычно доступны для Google-бота. При этом мета-теги для посетителей сайта и для роботов могут отличаться.

Проверка вида страницы через новый User Agent в Screaming Frog

При необходимости вы можете попробовать любые другие боты из предложенных программой Screaming Frog для более качественного и беспроблемного парсинга.

Оригинал страницы для пользователей

Подписывайтесь на наш канал в Яндекс.Дзен

Подписывайтесь на наш Telegram-канал

Подписывайтесь на наш Youtube-канал

Подписывайтесь на нашу группу ВКонтакте

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд (5 оценок, среднее: 5,00 из 5)
Загрузка...