Ucheck

[Andi88]

Ребята, всем привет, нужна альтернатива сайту ucheck.ru
Именно, нужно собирать все внутренние ссылки со страницы, этот сайт справляется с этим, но проверяет не все сайты (большинство, а хотелось бы все)
Зайдите на сайт и введите любой URL, далее кнопочка внутренние ссылки, этот список я и использую. Нужен либо сайт с данным функционалом, либо какое-то решение оффлайн.

 

[Andi88]

Нашёл ещё кучу сайтов похожего функционала, понравился pr-cy.ru/link_extractor/

 

[Sergodjan]

можно сделать самому сбор ссылок ..
будет независимое решение, не зависящее ни от каких сайтов..

 

[Andi88]

можно сделать самому сбор ссылок ..
будет независимое решение, не зависящее ни от каких сайтов..

Про это написал, знаешь как реализовать?

 

[Sergodjan]

Про это написал, знаешь как реализовать?

алгоритм примерно такой:

- собрать все ссылки со страницы регуляркой http://.*zennolab\.com.*?(?=['"]) через экшен Обработка текста (парсить макрос {-Page.Dom-})
- после этого все найденные ссылки будут в списке
- список очистить от дублей
- брать строки из списка и проверять вхождение .css, .js, .png, .jpg, если есть то выбрасывать..

zennolab\.com - заменить на переменную содержащую домен сайта..
домен сайта брать макросом {-Page.Domain-} и экшеном Обработка текста - Escape обработать..

 

[Andi88]

алгоритм примерно такой:

- собрать все ссылки со страницы регуляркой http://.*zennolab\.com.*?(?=['"]) через экшен Обработка текста (парсить макрос {-Page.Dom-})
- после этого все найденные ссылки будут в списке
- список очистить от дублей
- брать строки из списка и проверять вхождение .css, .js, .png, .jpg, если есть то выбрасывать..

zennolab\.com - заменить на переменную содержащую домен сайта..
домен сайта брать макросом {-Page.Domain-} и экшеном Обработка текста - Escape обработать..

Спасибо, такие мысли были, но так он будет брать только ссылки с 1 страницы? Тот сайт выдаёт по 100 и более ссылок, иногда, тоесть обрабатывает весь сайт?
Или мне просто хочется так думать?)

 

[Sergodjan]

Спасибо, такие мысли были, но так он будет брать только ссылки с 1 страницы? Тот сайт выдаёт по 100 и более ссылок, иногда, тоесть обрабатывает весь сайт?
Или мне просто хочется так думать?)

не со всего сайта - факт..
специально попробовал обработать этим двумя сервисами сайт, кол-во страниц на котором точно знаю..
выдало малую часть..

 

[Andi88]

не со всего сайта - факт..
специально попробовал обработать этим двумя сервисами сайт, кол-во страниц на котором точно знаю..
выдало малую часть..

Но больше чем с одной страницы?

 

[Sergodjan]

Но больше чем с одной страницы?

сейчас попробую проверить..

 

[Andi88]

сейчас попробую проверить..

Но Я всё равно попробую спарсить так как ты предложил, может всё впорядке будет)

 

[Sergodjan]

Но Я всё равно попробую спарсить так как ты предложил, может всё впорядке будет)

uncheck отрапортовал о 17 ссылках (на этой странице (главная стр. сайта) дейтсвительно 17 ссылок)
pr-cy отрапортовал о 31 ссылке..
в действительности на всем сайте порядка 100 страниц..

 

[runlike]

- брать строки из списка и проверять вхождение .css, .js, .png, .jpg, если есть то выбрасывать..

Вхождение чего и куда ? Проверять есть ли в конце ссылки .css, .js, .png, .jpg ?

 

[Sergodjan]

Вхождение чего и куда ? Проверять есть ли в конце ссылки .css, .js, .png, .jpg ?

ага..

 

[ZennoScript]

Ребята, всем привет, нужна альтернатива сайту ucheck.ru
Именно, нужно собирать все внутренние ссылки со страницы, этот сайт справляется с этим, но проверяет не все сайты (большинство, а хотелось бы все)
Зайдите на сайт и введите любой URL, далее кнопочка внутренние ссылки, этот список я и использую. Нужен либо сайт с данным функционалом, либо какое-то решение оффлайн.

sergodjan66 дал Вам правильный ответ - собирайте все ссылки со страницы данной регуляркой.
Для того, чтобы собрать все страницы, можно поступить следующим образом - создаёте 2 списка, получаете все ссылки в первый, далее берётся из первого списка 1 ссылку, записываете её во второй список и переходите по ней, собирая уже от туда все ссылки.
При этом нужно проверять, чтобы ссылка, которую взяли еще небыло во втором списке, чтобы бесконечно не ходить по одним и тем же ссылкам.
Таким образом, когда в первом списке у Вас закончатся все ссылки, можно считать, что ссылки на сайт собраны.