Помощь с парсингом ссылок

[НовичокЗелёный]

Не получается спарсить ссылки с сайта. Нужно спарсить 5 ссылок внутри сайта. Я так понимаю это можно сделать через Добавить действие > Данные > Табы. Использовал этот Reject
(http|ftp|https):\/\/[\w\-_]+(\.[\w\-_]+)+([\w\-\.,@?^=%&:/~\+#]*[\w\-\@?^=%&/~\+#])?
Одну ссылку спарсить получается. Если парсить больше в список то список получается пустой. Дайте совет как сделать лучше.

 

[Sergodjan]

Не получается спарсить ссылки с сайта. Нужно спарсить 5 ссылок внутри сайта. Я так понимаю это можно сделать через Добавить действие > Данные > Табы. Использовал этот Reject
(http|ftp|https):\/\/[\w\-_]+(\.[\w\-_]+)+([\w\-\.,@?^=%&:/~\+#]*[\w\-\@?^=%&/~\+#])?
Одну ссылку спарсить получается. Если парсить больше в список то список получается пустой. Дайте совет как сделать лучше.

Можно использовать эту регулярку для поиска внутренних ссылок сайта:

(?<=<a.*href=")(https|http)://domain\.com.*?(?=">)

Вместо domain\.com можно подставлять заэскейпленную переменную с именем домена, чтобы искало только ссылки на внутр. стр. сайта.

 

[НовичокЗелёный]

А можно сделать универсальный поиск ссылок для все сайтов?

 

[Sergodjan]

А можно сделать универсальный поиск ссылок для все сайтов?

Способ универсальный..
Вот получше вариант универсальной регулярки:

(?<=<a.*href=")(https|http)://(www\.|)poznavayka\.org.*?(?=">)

Вместо poznavayka\.org - вставить переменную с именем домена.

 

[НовичокЗелёный]

Спасибо!

 

[orka13]

Но если нам нужен идеальный парсер, то не забываем, что внутренние ссылки на некоторых донорах могу быть и относительными. И для отлова таких надо подключать посложнее логику.

 

[Sergodjan]

Но если нам нужен идеальный парсер, то не забываем, что внутренние ссылки на некоторых донорах могу быть и относительными. И для отлова таких надо подключать посложнее логику.

Тогда можно такой вариант парсинга сделать:
(вариант универсальный; сайт-пациент на скрине с относительными адресами страниц)

 

[Foster]

Есть на гите такая прога под питон https://github.com/GerbenJavado/LinkFinder
парсит ссылки скрытые в том числе в javascript регуляркой (используется для поиска скрытых эндпоинтов)

(?:"|')                                  # Start newline delimiter
(
((?:[a-zA-Z]{1,10}://|//)          # Match a scheme [a-Z]*1-10 or //
[^"'/]{1,}\.                           # Match a domainname (any character + dot)
[a-zA-Z]{2,}[^"']{0,})             # The domainextension and/or path
|
((?:/|\.\./|\./)                       # Start with /,../,./
[^"'><,;| *()(%%$^/\\\[\]]    #Next character can't be...
[^"'><,;|()]{1,})                    # Rest of the characters can't be
|
([a-zA-Z0-9_\-/]{1,}/              # Relative endpoint with /
[a-zA-Z0-9_\-/]{1,}                 # Resource name
\.(?:[a-zA-Z]{1,4}|action)       # Rest + extension (length 1-4 or action)
(?:[\?|/][^"|']{0,}|))              # ? mark with parameters
|
([a-zA-Z0-9_\-]{1,}                 # filename
\.(?:php|asp|aspx|jsp|json|action|html|js|txt|xml)     # . + extension
(?:\?[^"|']{0,}|))                        # ? mark with parameters
)
(?:"|')                                # End newline delimiter

В зенке можно использовать Обработка текста - Regex
и вставить регулярку (?:"|')(((?:[a-zA-Z]{1,10}://|//)[^"'/]{1,}\.[a-zA-Z]{2,}[^"']{0,})|((?:/|\.\./|\./)[^"'><,;| *()(%%$^/\\\[\]][^"'><,;|()]{1,})|([a-zA-Z0-9_\-/]{1,}/[a-zA-Z0-9_\-/]{1,}\.(?:[a-zA-Z]{1,4}|action)(?:[\?|/][^"|']{0,}|))|([a-zA-Z0-9_\-]{1,}\.(?:php|asp|aspx|jsp|json|action|html|js|txt|xml)(?:\?[^"|']{0,}|)))(?:"|')

 

[booms1]

Тогда можно такой вариант парсинга сделать:
(вариант универсальный; сайт-пациент на скрине с относительными адресами страниц)

Посмотреть вложение 31389

Подскажите пожалуйста, что это за куб "Получение значения"

 

[inilim]

Подскажите пожалуйста, что это за куб "Получение значения"

Просмотр списка?

 

[Sergodjan]

Подскажите пожалуйста, что это за куб "Получение значения"

Вы имеете ввиду Взятие значения?
Если нужно получить значение лучше всего использовать Конструктор действий в режиме Get (получить).

 

[booms1]

Вы имеете ввиду Взятие значения?
Если нужно получить значение лучше всего использовать Конструктор действий в режиме Get (получить).

https://prnt.sc/ovatzz
Нет, я понимаю не что за куб у Вас на скриншоте "Получения значения [href] - link

 

[Mikhail B.]

https://prnt.sc/ovatzz
Нет, я понимаю не что за куб у Вас на скриншоте "Получения значения [href] - link

Вам выше ответили. Вы скажите что нужно вам сделать, а мы подскажем как реализовать.

 

[booms1]

Вам выше ответили. Вы скажите что нужно вам сделать, а мы подскажем как реализовать.

По образцу от sergodjan66 пробую сделать универсальный парсер, не понимал что это за куб

 

[Sergodjan]

По образцу от sergodjan66 пробую сделать универсальный парсер, не понимал что это за куб

Нажимаете правую кн. мыши на нужном элементе страницы и из контекстного меню выбираете пункт В конструктор действий,
там переключаетесь в режим Get и добавляете действие в проект, а потом настраиваете все поля свойств кубика как на скриншоте.

 

[booms1]

Нажимаете правую кн. мыши на нужном элементе страницы и из контекстного меню выбираете пункт В конструктор действий,
там переключаетесь в режим Get и добавляете действие в проект, а потом настраиваете все поля свойств кубика как на скриншоте.

Можете подсказать, что не так делаю?
upd. проблемой оказалась невнимательность, после переменной случайно ткнул на клавиатуру и добавил точку

 

[booms1]

Тогда можно такой вариант парсинга сделать:
(вариант универсальный; сайт-пациент на скрине с относительными адресами страниц)

Посмотреть вложение 31389

Реально ли парсить относительные ссылки внутри сайтов на get запросах? имею ввиду регулярку

 

[booms1]

Ответ на вопрос выше тут https://zennolab.com/discussion/threads/poskazhite-reguljarku-dlja-poluchenija-vnutrennix-stranic-sajta.36373/

 

[Foster]

А если нужно парсить обычные ссылки, не относительные , то можно регулярки здесь посмотреть

In search of the perfect URL validation regex

я такую использую

^(?:(?:(?:https?|ftp|file|gopher|sftp|dict|ldap|tftp|shttp):)?\/\/)(?:\S+(?::\S*)?@)?(?:(?!(?:10|127)(?:\.\d{1,3}){3})(?!(?:169\.254|192\.168)(?:\.\d{1,3}){2})(?!172\.(?:1[6-9]|2\d|3[0-1])(?:\.\d{1,3}){2})(?:[1-9]\d?|1\d\d|2[01]\d|22[0-3])(?:\.(?:1?\d{1,2}|2[0-4]\d|25[0-5])){2}(?:\.(?:[1-9]\d?|1\d\d|2[0-4]\d|25[0-4]))|(?:(?:[a-z0-9\u00a1-\uffff][a-z0-9\u00a1-\uffff_-]{0,62})?[a-z0-9\u00a1-\uffff]\.)+(?:[a-z\u00a1-\uffff]{2,}\.?))(?::\d{2,5})?(?:[/?#]\S*)?$|(?:\b[a-z\d.-]+://[^"<>\s]+|\b(?:(?:(?:[^\s!\\@#$%^&*()_=+[\]{}\|:'",.<>/?]+)\.)+(?:ac|ad|aero|ae|af|ag|ai|al|am|an|ao|aq|arpa|ar|asia|as|at|au|aw|ax|az|ba|bb|bd|be|bf|bg|bh|biz|bi|bj|bm|bn|bo|br|bs|bt|bv|bw|by|bz|cat|ca|cc|cd|cf|cg|ch|ci|ck|cl|cm|cn|coop|com|com.mx|co|cr|cu|cv|cx|cy|cz|de|dj|dk|dm|do|dz|ec|edu|ee|eg|er|es|et|eu|fi|fj|fk|fm|fo|fr|ga|gb|gd|ge|gf|gg|gh|gi|gl|gm|gn|gov|gp|gq|gr|gs|gt|gu|gw|gy|hk|hm|hn|hr|ht|hu|id|ie|il|im|info|int|in|io|iq|ir|is|it|je|jm|jobs|jo|jp|ke|kg|kh|ki|km|kn|kp|kr|kw|ky|kz|la|lb|lc|li|lk|lr|ls|lt|lu|lv|ly|ma|mc|md|me|mg|mh|mil|mk|ml|mm|mn|mobi|mo|mp|mq|mr|ms|mt|museum|mu|mv|mw|mx|my|mz|name|na|nc|net|ne|nf|ng|ni|nl|no|np|nr|nu|nz|om|org|pa|pe|pf|pg|ph|pk|pl|pm|pn|pro|pr|ps|pt|pw|py|qa|re|ro|rs|ru|rw|sa|sb|sc|sd|se|sg|sh|si|sj|sk|sl|sm|sn|so|sr|st|su|sv|sy|sz|tc|td|tel|tf|tg|th|tj|tk|tl|tm|tn|to|tp|travel|tr|tt|tv|tw|tz|ua|ug|uk|um|us|uy|uz|va|vc|ve|vg|vi|vn|vu|wf|ws|xn--0zwm56d|xn--11b5bs3a9aj6g|xn--80akhbyknj4f|xn--9t4b11yi5a|xn--deba0ad|xn--g6w251d|xn--hgbk6aj7f53bba|xn--hlcj6aya9esc7a|xn--jxalpdlp|xn--kgbechtv|xn--zckzah|ye|yt|yu|za|zm|zw)|(?:(?:[0-9]|[1-9]\d|1\d{2}|2[0-4]\d|25[0-5])\.){3}(?:[0-9]|[1-9]\d|1\d{2}|2[0-4]\d|25[0-5]))(?:[?#/][^;'\\"#?<>\s]*)?(?:\?[^#<>\s]*)?(?:#[^<>\s]*)?(?!\w))

нужно " заменить на "" (если в коде, например, Regex.Matches(xx, @регулярка)) и добавить доменов second-level (co.uk и пр)