Как находить дубли на сайте при помощи Screaming Frog Seo Spider: пошаговая инструкция

Чтобы избавиться от дублей страниц, необходимо их найти, а это может стать весьма кропотливой работой. Чтобы упростить себе задачу, можно воспользоваться программой поиска Screaming Frog, благодаря которой можно находить даже страницы, дублирующие друг друга на 70-80%. Подробная инструкция ниже поможет во всем разобраться.

Видеоинструкция

Как найти похожие страницы на сайте (дубли)

Заходим на вкладку «Конфигурации» (Configurations). В выпавшем списке находим опцию Content и переходим на опцию Duplicates.

Переход в настройки Screaming Frog

В открывшемся диалоговом окне вы увидите две опции. Отмечаем нижнюю строчку – Enable Near Duplicates. Далее нам потребуется установить порог схожести для страниц-дубликатов, которые мы ищем (Near Duplicates Similarity Threshold). Программа рекомендует устанавливать значение в 80-90%, но можно выставить и меньше для более эффективного поиска.

Выбор отслеживания дубликатов в Screaming Frog

Когда опции выставлены, запускаем парсинг сайта. Щелкаем по стрелке в правом верхнем углу и переходим в раздел Контент (Content).

Переход в блок контент в Screaming Frog

В открывшемся списке в правом верхнем углу щелкаем по строке Near Duplicates. После этого в основном окне появится список ссылок на страницы с указанием степени схожести страниц-дубликатов. Ссылки расставлены по убыванию – от 100% схожести.

Похожие страницы в Screaming Frog

Щелкнув по нужной ссылке, мы отправляем ее в нижнее левое окно. После чего, кликнув по ней еще раз, мы переходим в настройки страницы. Открыв две и более страниц подобным образом, можно увидеть одинаковые или похожие элементы, которые и делают их дублями.

Анализ похожих блоков в Screaming Frog

Однако если сайт слишком большой, поиск дублей даже в таком режиме может занять много времени. Если вам нужно просто увидеть количество дублей в целом, можно действовать по-другому. Выставьте большее значение порога схожести. В верхнем меню выбираем пункт Crawl Analytics и кликаем по опции Configure в выпадающем списке.

Смотрим, выставлен ли флажок напротив раздела Content. Наличие флажка говорит о постоянном анализе контента. Если нет, отмечаем его и нажимаем Start.

Повторный анализ похожих страниц в Screaming Frog

Снова проверяем результаты в разделе Near Duplicates справа. Там их будет уже меньше, так как программа выдаст только страницы с большей степенью схожести.

Изменения при повторном анализе похожих страниц в Screaming Frog

Как отключить учет какого-либо блока на сайте при поиске дублей

Причины неуникальности страниц чаще всего заключаются в наличии важных сквозных блоков – шапки страницы, популярных товаров и так далее.

Если нужно проверить только переменную часть контента, это делается следующим образом. Снова переходим в раздел Content и выбираем раздел Area в выпадающем списке.

Переход в анализ блоков при сканировании контента Screaming Frog Seo Spider

В открывшемся окне видим два режима – Include (Включить) и Exclude (Исключить). Сделать это можно по тегам, классам и ID.

Интерфейс исключения и включения блоков сканирования в Screaming Frog Seo Spider

Для примера посмотрим на сайте какой блок хранит в себе список популярных товаров.

Проверка кода блока на странице сканирования

Возвращаемся в раздел Area, вставляем класс или тег блока, который хотим исключить и выбираем Exclude.

Настройка блока исключения контента в Screaming Frog Seo Spider

Снова переходим в Crawl Analytics и проверяем наличие дублей по уже установленным параметрам. Если параметры выставлены правильно, исключенные блоки не будут отображаться при проверке настроек в нижнем поле.

Проверка дублей страниц с исключенными блоками в Screaming Frog Seo Spider

Все готово.

Подписывайтесь на наш канал в Яндекс.Дзен

Подписывайтесь на наш Telegram-канал

Подписывайтесь на наш Youtube-канал

Подписывайтесь на нашу группу ВКонтакте

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд (3 оценок, среднее: 5,00 из 5)
Загрузка...