Поскажите регулярку для получения внутренних страниц сайта.

[one]

Подскажите регулярку. Нужно получить из исходника все внутренние ссылки домена. Домены будут периодически меняться разные.

 

[ZennoScript]

Как то так.

(?<=href=")(domen.com|/)\S*(?=")

 

[one]

Не получилось реализовать задуманное. Не на всех сайтах в коде страницы абсолютные ссылки присутствуют, есть где и относительные. Может кто подскажет реализацию получения всех внутренних ссылок со страницы?

Пока решение одно. Делать проверку, абсолютная ссылка или относительная? Если относительная, то подставляем домен. Но как то сложновато, нет? Может что по проще подскажете друзья?

 

[Sergodjan]

Как то так.

(?<=href=")(domen.com|/)\S*(?=")

спасибо, как раз нужна была универсальная регулярка, я немного модернизировал ее под свои нужды,
может еще кому то пригодится, кроме меня..

регулярка:
(?<=href='|")((http://|https://)(www\.|)domen.com|/)\S*(?='|")

т.е. из этого
<a href='https://www.domen.com/23342rdfdf/2323ddsd/2343sdsfd/wqew.html'>wewerer</a>
<a href="http://domen.com/23342rdfdf/2323ddsd/2343sdsfd/wqew.html">wewerer</a>
<a href='https://www.domen.com/23342rdfdf/2323ddsd/2343sdsfd/wqew/'>wewerer</a>
<a href="http://domen.com/23342rdfdf/2323ddsd/2343sdsfd/wqew/">wewerer</a>

берет вот это
https://www.domen.com/23342rdfdf/2323ddsd/2343sdsfd/wqew.html
http://domen.com/23342rdfdf/2323ddsd/2343sdsfd/wqew.html
https://www.domen.com/23342rdfdf/2323ddsd/2343sdsfd/wqew/
http://domen.com/23342rdfdf/2323ddsd/2343sdsfd/wqew/

еще есть задача спарcить все внутр. страницы, если адреса не абсолютные, а относительные,
например:

<a href="news/asdf/qwerty/">анкор</a>
или
<a href="/news/asdf/qwerty/">анкор</a>

пока не могу придумать как..

 

[Dimionix]

Так универсальней)) только для абсолютных ссылок

(?<=href\s?=\s?('|"))https?://?(www\.)?domain.com.*?(?='|")

UPD

 

[one]

еще есть задача спарcить все внутр. страницы, если адреса не абсолютные, а относительные,

Ну мне в голову лезет только вариант с подстановкой домена с которым работаем. см. выше.

 

[Sergodjan]

Ну мне в голову лезет только вариант с подстановкой домена с которым работаем. см. выше.

да, я видел..
ну вот хотелось бы регуляркой все же, опять таки универсальной..
хотел выявить наличие относительных адресов путем детекта, есть base href на странице или нет, но тоже не получится, бывает что нету..

 

[Dimionix]

Универсальная только для относительных ссылок

(?<=href\s?=\s?('|"))[^:].*?(?='|")

или

(?<=href\s?=\s?('|"))(?!https?://).*?(?='|")

UPD

 

[Sergodjan]

Универсальная только для относительных ссылок

(?<=href\s?=\s?'|")[^http].*?(?='|")

работает, огромное спасибо!
взял в свою копилку..

 

[Dimionix]

Универсальная для всех внутренних ссылок сайта

(?<=href\s?=\s?('|"))((https?://?(www\.)?domain.com)|([^:])).*?(?='|")

или

(?<=href\s?=\s?('|"))((https?://?(www\.)?domain.com)|(?!https?://)).*?(?='|")

UPD

 

[Sergodjan]

Универсальная для всех внутренних ссылок сайта

(?<=href\s?=\s?'|")((https?://?(www\.)?domain.com)|([^http])).*?(?='|")

вообще шикарно! ты волшебник..

 

[ZennoScript]

Универсальная только для относительных ссылок

(?<=href\s?=\s?'|")[^http].*?(?='|")

Так не очень правильно. Эта регулярка не возьмёт ссылки, которые начинаются на h,t,p. К примеру <li><a href="howtopay/">Как платить</a></li>
[^http] отрицает каждый отдельный символ, а не их последовательность.

 

[Dimionix]

Так не очень правильно. Эта регулярка не возьмёт ссылки, которые начинаются на h,t,p. К примеру <li><a href="howtopay/">Как платить</a></li>
[^http] отрицает каждый отдельный символ, а не их последовательность.

Верно! Поправил!

 

[Sergodjan]

Верно! Поправил!

печалька, на натурных испытаниях берет много лишнего мусора:

 

[Dimionix]

печалька, на натурных испытаниях берет много лишнего мусора:

Посмотреть вложение 19725

Сделал очередной апдейт))

 

[masterLomaster]

Сделал очередной апдейт))

а можно сразу результат подбить )))

 

[Sergodjan]

Сделал очередной апдейт))

выкладывай и сюда тоже (в самое последнее сообщение), если не трудно..

 

[Sergodjan]

по последнему апдейту гораздо лучше, но все же встречается мусор..

 

[Dimionix]

по последнему апдейту гораздо лучше, но все же встречается мусор..

Посмотреть вложение 19727

Если ты о //www.liveinternet.ru/click, то это скорее исключение. От таких может лучше избавляться чисткой после парсинга. Как и от mailto:, tel:, javascript:, ссылок на стили, скрипты, картинки, языки и т.п.
Некоторая хрень =>

\.ico|\.jpg|\.jpeg|\.png|\.gif|\.css|\.less|\.js|\.jsp|\.pdf|\.rss|\.aspx|\.cfm|\.ashx|mailto:|tel:|javascript:|\#|//|regist|language|login|email|admin|captcha|sign_in|feed|redirect|wp-|/cn/|/tw/|/kr/|/jp/|/tr/|/ar/

 

[Sergodjan]

Если ты о //www.liveinternet.ru/click, то это скорее исключение. От таких может лучше избавляться чисткой после парсинга. Как и от mailto:, tel:, javascript:, ссылок на стили, скрипты, картинки, языки и т.п.
Некоторая хрень =>

\.ico|\.jpg|\.jpeg|\.png|\.gif|\.css|\.less|\.js|\.jsp|\.pdf|\.rss|\.aspx|\.cfm|\.ashx|mailto:|tel:|javascript:|\#|//|regist|language|login|email|admin|captcha|sign_in|feed|redirect|wp-|/cn/|/tw/|/kr/|/jp/|/tr/|/ar/

ага, именно это..
еще раз огромное спасибо..

 

[Sergodjan]

а можно сразу результат подбить )))

Подитог:

(?<=href\s?=\s?('|"))((https?://?(www\.)?domain.com)|([^:])).*?(?='|")
или
(?<=href\s?=\s?('|"))((https?://?(www\.)?domain.com)|(?!https?://)).*?(?='|")
(последняя самая лучшая на мой взгляд)

и потом список очистить с помощью экшена Операции над списком - > Удалить элементы, удовлетв. рег. выражению:
(если удаляется лишнее, то подредактировать под себя)

\.xml\.|xmlrpc|\.ico|\.jpg|\.jpeg|\.png|\.gif|\.css|\.less|\.js|\.jsp|\.pdf|\.rss|\.aspx|\.cfm|\.ashx|mailto:|tel:|javascript:|\#|//|regist|language|login|email|admin|captcha|sign_in|feed|redirect|wp-|/cn/|/tw/|/kr/|/jp/|/tr/|/ar/

еще раз огромное спасибо автору Dimionix за эти решения!

 

[Dimionix]

и потом список очистить с помощью экшена Операции над списком - > Удалить элементы, удовлетв. рег. выражению:

Ну это не готовая регулярка, я просто для примера показал (скопировал из одного своего старого проекта), какая фигня попадается. Перед чисткой нужно будет составить еще регулярку, а если так оставить, то много лишнего удалится.

 

[masterLomaster]

Подитог:

(?<=href\s?=\s?('|"))((https?://?(www\.)?domain.com)|([^:])).*?(?='|")
или
(?<=href\s?=\s?('|"))((https?://?(www\.)?domain.com)|(?!https?://)).*?(?='|")
(последняя самая лучшая на мой взгляд)

и потом список очистить с помощью экшена Операции над списком - > Удалить элементы, удовлетв. рег. выражению:

xml\.|xmlrpc|\.ico|\.jpg|\.jpeg|\.png|\.gif|\.css|\.less|\.js|\.jsp|\.pdf|\.rss|\.aspx|\.cfm|\.ashx|mailto:|tel:|javascript:|\#|//|regist|language|login|email|admin|captcha|sign_in|feed|redirect|wp-|/cn/|/tw/|/kr/|/jp/|/tr/|/ar/

еще раз огромное спасибо автору Dimionix за эти решения!

спс други!
главное чтобы @ Dimionix снова не сделал это

Сделал очередной апдейт))

)))

 

[one]

(?<=href\s?=\s?('|"))((https?://?(www\.)?domain.com)|(?!https?://)).*?(?='|")

Сейчас буду пробовать. Спасибо всем участвующим! Пока вопрос назрел, вместо domain.com переменную подставить можно?

 

[Dimionix]

Сейчас буду пробовать. Спасибо всем участвующим! Пока вопрос назрел, вместо domain.com переменную подставить можно?

Да, конечно! Макрос, напр., {-Variable.Domain-}

 

[one]

Да, конечно! Макрос, напр., {-Variable.Domain-}

Сам как бы допер, меня интересовало будет ли работать. Ок, спасибо!