Как парсить любые данные сайта с помощью сервиса Screaming Frog Seo Spider?

Парсинг данных через сервис может потребоваться в самых разных случаях – в том числе и когда нам требуется проанализировать или проработать какую-то конкретную информацию на сайте.

Разберем это на примере парсинга по категориям и изображениям через сервис Screaming Frog.

Видеоинструкция

Как парсить любой элемент в Screaming Frog Seo Spider

Кликаем на изображение правой клавишей мыши и выбираем пункт «Просмотреть код» в выпадающем меню.

Переход в код страницы в браузере

Находим адрес изображения и копируем его, выбирая пункты Copy, а затем Copy full XPath в выпадающем списке.

Копирование полного пути XPath

Переходим в Screaming Frog. Выбираем в верхнем меню пункт Configuration, затем, в выпадающем списке, кликаем по пункту Custom и далее – Extraction («Выгрузка данных»).

Переход в Custom Extraction в Screaming Frog Seo Spider

В открывшемся окне нажимаем на Add в правом нижнем углу.

Добавление нового кастомного парсинга в Screaming Frog

В левой верхней строчке с надписью Extractor 1 вводим название раздела для сбора данных. Присвоить можно любое.

Выбираем тип выгрузки XPath в списке рядом.

Выбираем в парсинг кастомных данных тип XPath

Копируем адрес XPath в строчку справа от него.

Вводим в парсинг кастомных данных полный путь XPath

В следующем выпадающем списке выбираем Extract HTML Element и нажимаем OK.

Выбираем в парсинге кастомных данных выгрузку всего элемента HTML

Пример настройки.

Настройки парсинга кастомных данных в Screaming Frog Seo Spider

Возвращаемся в Screaming frog и выбираем в меню пункт «Mode»-«List».

Переход режим List в Screaming Frog

Затем нажимаем кнопку Upload вверху и загружаем скопированные нами URL.

Открытия списка URL для парсинга в Screaming Frog
Ввод списка URL для парсинга в Screaming Frog

Когда парсинг завершится, переходим в меню Overview справа и ищем в списке раздел Custom Extraction.

Итог парсинга через кастомные данные в Screaming Frog

Если все сработало верно, в разделе появится пункт с нашим названием раздела и количество собранных элементов. В основном окне будет отображаться список URL и адреса всех изображений, которые сервис обнаружил по заданным нами параметрам.

После этого можно удалить теги и все лишнее – и останется только список адресов нужных нам фото.

Алгоритм парсинга по категориям будет такой же. Таким же образом вы можете парсить любые нужные вам данные, включая цены, наименования, характеристики, описания и так далее.

Подписывайтесь на наш канал в Яндекс.Дзен

Подписывайтесь на наш Telegram-канал

Подписывайтесь на наш Youtube-канал

Подписывайтесь на нашу группу ВКонтакте

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд (12 оценок, среднее: 3,58 из 5)
Загрузка...