сбор ссылок с сатов get запросами

[heks]

Может есть у кого то паук для сбора ссылок с сайтов на get запросах что бы просто ходил по сайту и собирал все ссылки подряд. желательно многопоток и что бы ссылки не дублировались. Не могу составить логику что бы и многопоток был и ссылки не дублировались

 

[j2082192]

так пусть дублируются потом в конце когда весь сайт пройдёт просто удалить дубли в списке

 

[nomer8]

Чем тебя xenu не устраивает? Он находит всё что только можно найти.
Ещё для этого можно скриминг фрог или нетпик чекер юзать.

 

[SergSh]

https://zennolab.com/discussion/threads/parser-na-8-poiskovikov-i-cheker-cms-social-knopok.51484/
второй шаб много всего собирает

 

[heks]

так пусть дублируются потом в конце когда весь сайт пройдёт просто удалить дубли в списке

зачем по одной и тоже ссылки ходить десятки раз так конец работы скрипта точно вечно ждать нужно будет

Чем тебя xenu не устраивает? Он находит всё что только можно найти.
Ещё для этого можно скриминг фрог или нетпик чекер юзать.

https://c2n.me/3YKtxNT хуну пишет
нетпик чекер вроде как платный же
скриминг фрог не пробовал буду тестить. Спасибо. может еще кто то что то посоветует

https://zennolab.com/discussion/threads/parser-na-8-poiskovikov-i-cheker-cms-social-knopok.51484/
второй шаб много всего собирает

мне нужно не поисковик парсить а миенно 1 сайт на ссылки

 

[SergSh]

мне нужно не поисковик парсить а миенно 1 сайт на ссылки

там два шаблона. один парсит поисковики, второй SITEchecker парсит данные из сайтов по списку ссылок, в нем есть кубик Чекер и в этом кубике есть сниппет для сбора внешних ссылок //external links counts rel and anchors..

 

[heks]

там два шаблона. один парсит поисковики, второй SITEchecker парсит данные из сайтов по списку ссылок, в нем есть кубик Чекер и в этом кубике есть сниппет для сбора внешних ссылок //external links counts rel and anchors..

спасибо посмотрю.

 

[booms1]

спасибо посмотрю.

Привет, удалось найти годный паук?