Как парсить любые данные сайта с помощью сервиса Screaming Frog Seo Spider?

Парсинг данных через сервис может потребоваться в самых разных случаях – в том числе и когда нам требуется проанализировать или проработать какую-то конкретную информацию на сайте.

Разберем это на примере парсинга по категориям и изображениям через сервис Screaming Frog.

Видеоинструкция

Как парсить любой элемент в Screaming Frog Seo Spider

Кликаем на изображение правой клавишей мыши и выбираем пункт «Просмотреть код» в выпадающем меню.

Находим адрес изображения и копируем его, выбирая пункты Copy, а затем Copy full XPath в выпадающем списке.

Переходим в Screaming Frog. Выбираем в верхнем меню пункт Configuration, затем, в выпадающем списке, кликаем по пункту Custom и далее – Extraction («Выгрузка данных»).

В открывшемся окне нажимаем на Add в правом нижнем углу.

В левой верхней строчке с надписью Extractor 1 вводим название раздела для сбора данных. Присвоить можно любое.

Выбираем тип выгрузки XPath в списке рядом.

Копируем адрес XPath в строчку справа от него.

В следующем выпадающем списке выбираем Extract HTML Element и нажимаем OK.

Пример настройки.

Возвращаемся в Screaming frog и выбираем в меню пункт «Mode»-«List».

Затем нажимаем кнопку Upload вверху и загружаем скопированные нами URL.

Когда парсинг завершится, переходим в меню Overview справа и ищем в списке раздел Custom Extraction.

Если все сработало верно, в разделе появится пункт с нашим названием раздела и количество собранных элементов. В основном окне будет отображаться список URL и адреса всех изображений, которые сервис обнаружил по заданным нами параметрам.

После этого можно удалить теги и все лишнее – и останется только список адресов нужных нам фото.

Алгоритм парсинга по категориям будет такой же. Таким же образом вы можете парсить любые нужные вам данные, включая цены, наименования, характеристики, описания и так далее.