Как получить/Спарсить все внешние ссылки с сайта

[Nixens]

Как получить/Спарсить все внешние ссылки с сайта.
Понимаю что для начала нужно получить все страницы самого сайта, но не знаю как ходить по всем страницам, и в какой момент нужно остановиться.

 

[Sergodjan]

Как получить/Спарсить все внешние ссылки с сайта.
Понимаю что для начала нужно получить все страницы самого сайта, но не знаю как ходить по всем страницам, и в какой момент нужно остановиться.

Возможно, у сайта есть Сайтмап, можно его скачать и распарсить.

 

[Nixens]

Возможно, у сайта есть Сайтмап, можно его скачать и распарсить.

А если на сайт нет сайтмап? Есть какой-нибудь "паук" на форуме?

 

[one]

Есть какой-нибудь "паук" на форуме?

Что то было и помоему в конкурсных статьях тоэже пороскакивало решение. Мысль была следующая. Получаем код страницы, из него регулярками выдираем внутренние ссылки, кладем в базу и так пока не пройдем все что собираем.

из него регулярками выдираем внутренние ссылки

Внешние по моему было проще выдрать и одткинуть т.к. внутренние могут быть как относительными так и абсолютными.

 

[Sergodjan]

А если на сайт нет сайтмап? Есть какой-нибудь "паук" на форуме?

Да, как уж сказано было выше, было что то на форуме на эту тему.
Вот тут есть несколько сервисов, которые можно использовать для сбора страниц сайта.
И вот тут есть конкурсный готовый генератор сайтмапа для Зеннопостера.
А уже из собранных ссылок удалять ссылки с этим же доменом, оставляя тем самым только внешние.

 

[one]

Я бы воспользовался готовым решением, если тупо внешние ссылки надо. SEO FROG или как то так называется, есть еще фришная утилита но запамятовал.

 

[uuw]

В a-parsere из коробки есть с кучей настроек под тюнинг
Если целевой конкретный сайт можно и из js ссылки подтягивать - слегка подкрутив (все с примерами)
недешевый, но и может еще туеву кучу чего

 

[ZULI]

SEO FROG

Он кучу денег стоит, тем более по подписке, каждый год платить, а бесплатная версия только 500 ссылок обрабатывает и ограничена функционалом

 

[Spelin]

Я бы воспользовался готовым решением, если тупо внешние ссылки надо. SEO FROG или как то так называется, есть еще фришная утилита но запамятовал.

Xenu старая рабочая прога) Ей лет 15 уже точно, но с тем что требуется справится не хуже фрогов и т.п.

 

[ibred]

Есть какой-нибудь "паук" на форуме?

В разделе бесплатных шаблонов есть проект: Парсер внешних и внутренних ссылок