Как спарсить все url сайта?

[Vero]

Друзья, коллеги, такая задача: нужно спарсить все урлы сайта, которые содержат данный путь: https://service-centers.ru/s/

Пока приходится прибегать к помощи content downloader, но на мой взгляд это костыльный метод.

Есть возможность в зенно настроить подобный парсинг?

 

[Sergodjan]

Есть возможность в зенно настроить подобный парсинг?

Если сайт имеет карту сайта, то можете пройтись по ссылкам в ней и с помощью инструмента "Парсинг страницы (Парсинг данных)" собрать урлы в список с встроенной фильтрацией по критерию "server-center.ru/s/", а затем удалить дубли через "Операции над списком - Удалить дубли".

Либо с помощью "Обработка текста" (по регулярке) из {-Page.Dom-} в список и потом удалить лишнее по критерию "не содержит текст" с помошью "Операции над списком - Удалить строки", а затем удалить дубли через "Операции над списком - Удалить дубли".

 

[backoff]

у каждого +- нормального сайта, всегда есть карта сайта, и всегда первым делом ее надо искать в роботсе
идешь сюда

https://service-centers.ru/robots.txt

находишь это

Sitemap: https://service-centers.ru/sitemaps/sitemap.msk.xml.gz

выкачиваешь, обрабатываешь, радуешься

 

[baracuda]

ну или на запросах с регуляркой типа

(?<=href=")/s/.*?(?=")

 

[kagorec]

В карте сайта обычно не полный список страниц

 

[backoff]

В карте сайта обычно не полный список страниц

ну если карта делается руками, то да.
обычно у все cms все автоматизировано в этом плане, все что должно быть в индексе, будет и в карте.

опять же в роботсе можно найти это

Disallow: /s/*/map
Disallow: /s/*/print
Disallow: /s/*/contact

карта, принт версии страниц видимо, и страница контактов
при желании все можно вытащить, например написать паука, который сам весь сайт обойдет, но это гемобред в целом )

 

[ttimbaland1983]

Попробуй так