Как достать все URL из файла Sitemap XML бесплатно и быстро?

В случаях, когда требуется быстро выгрузить список всех страниц сайта достаточно получить список URL из файла Sitemap (XML), что мы и рассмотрим в данной статье. Однако, стоит помнить, что в одном sitemap может быть до 50 тысяч URL, поэтому для больших сайтов количество скачиваемых файлов может быть тысячи и десятки тысяч, данный вариант мы также рассмотрим.

Метод 1: Использование онлайн-сервисов (для простых случаев)

Этот метод подходит, если сайт небольшой и не блокирует парсеры.

Найдите ссылку на Sitemap. Чтобы найти ее необходимо открыть файл robots.txt.

Открываем сервис:

Скопируйте URL вашей карты сайта в поле ввода.

Запустите процесс, нажав на кнопку Load Sitemap.

Если сайт не защищен от парсинга и карта не слишком огромная, сервис выдаст список всех ссылок, который можно скачать (Export).

Ограничения: Этот метод может не сработать, если карта сайта очень большая (сервис выдаст ошибку скачивания) или если на сайте стоит защита от ботов (блокировка по User-Agent/IP).

Метод 2: Ручной способ через Excel (если сервисы блокируются)

Этот способ выручает, когда онлайн-сервисы не могут скачать файл из-за защиты сайта или ошибок.

1. Скачайте XML файл. Откройте нужный Sitemap в браузере (например, карту товаров sitemap_goods.xml), нажмите Ctrl+S и сохраните файл на компьютер.

1. Подготовьте Excel.
   • Откройте Excel.
   • Зайдите в Файл -> Параметры -> Настроить ленту.

1. • В правом столбце поставьте галочку напротив пункта Разработчик и нажмите ОК.

1. Очистите XML файл (важный нюанс).
   • Откройте скачанный файл в текстовом редакторе (Блокнот, Notepad++, Sublime Text).

1. • Удалите лишние атрибуты в теге <urlset …>, оставив просто <urlset>.

1. • Это нужно, чтобы Excel корректно распознал структуру без ошибок схемы.

1. • Сохраните изменения.
2. Импорт в Excel.
   • Перетащите файл в Excel или откройте его через меню.

1. • Выберите опцию «Открыть как XML-таблицу».

1. • Нажмите ОК.
2. Результат. Excel преобразует файл в удобную таблицу, где в одной из колонок будут все ваши ссылки (loc).

Метод 3: Массовый парсинг через A-Parser (для огромных сайтов)

Этот метод необходим для сайтов с десятками миллионов страниц и тысячами под-карт (sitemaps), которые вручную обрабатывать невозможно.

Этап 1: Сбор списка всех Sitemap

1. Настройка A-Parser. Используйте редактор заданий. Выберите тип парсера Net::HTTP и использование регулярных выражений (RegEx) для поиска ссылок:

1. Входные данные. Укажите ссылку на главную карту сайта (sitemap_index.xml).
2. Запуск. Запустите парсинг. Программа соберет ссылки на все вложенные карты сайта (например, их может быть 1000+ штук).

1. Сохранение. Скачайте полученный список ссылок на карты сайтов в текстовый файл (sitemap_list.txt).

Этап 2: Извлечение ссылок на страницы

1. Создайте новое задание. Используйте те же настройки парсера.
2. Входные данные. В качестве источника запросов загрузите файл sitemap_list.txt, полученный на предыдущем этапе.

1. Запуск. Парсер пройдет по каждому файлу Sitemap и соберет из них конечные ссылки на страницы.

1. Результат. Вы получите итоговый файл (он может весить сотни мегабайт), содержащий полный список всех URL сайта (например, 5-10 миллионов ссылок).

Резюме

• Мало ссылок / нет защиты: Используйте SEOwl.
• Средний объем / есть защита: Скачивайте файл вручную, чистите теги и открывайте через Excel (режим разработчика).
• Миллионы ссылок: Используйте A-Parser в два этапа (сначала парсинг карт, потом парсинг ссылок из них).

Подписывайтесь на нас: