Парсинг ссылок со страниц

rostonix · 19.09.2012

Можно использовать такую регулярку для поиска всех ссылок, содержащих нужное слово:

Код:

http://.*Ваше_слово_для_поиска.*|www.*Ваше_слово_для_поиска.*

rostonix · 19.09.2012

А вот вообще для всех ссылок:

Код:

(http|ftp|https):\/\/[\w\-_]+(\.[\w\-_]+)+([\w\-\.,@?^=%&amp;:/~\+#]*[\w\-\@?^=%&amp;/~\+#])?

rostonix · 19.09.2012

Код:

http://.*Ваше_слово_для_поиска.*?(?=")|www.*Ваше_слово_для_поиска.*?(?=")

mavitua · 19.09.2012

Бывают еще ссылки без домена типа:
<a href="/catalog/index.htm">
<a href="/index.htm">
<a href="index.htm">

rostonix · 19.09.2012

А разве с amp ссылка работать не будет?

Неполные ссылки это отдельный разговор.
Их можно парсить простой регуляркой

Href=" до искомого
" после

Но не всегда они нужны.

strannic · 04.01.2013

Вопрос по теме как раз нарисовался, такая же проблема
парсит ссылки вида "/?area=Anketa&userId=921488154&fromsearch=1&hit=10"
но знак "&" заменяет на "&"
и в итоге получаю ссылку "/?area=Anketa&userId=921488154&fromsearch=1&hit=10"
и она не работает при переходе.
Захотел попробовать методом замены, но пока не сообразил как в списке произвести замену.
rostonix подскажите что можно сделать в этой ситуации ?

blackeye · 04.01.2013

У меня была подобная ситуация. Ни в какую не подтверждалось письмо с ссылкой в которой были %40 и &
Поменял на @ и & соответственно - заработало
Использовал "Обработка текста"

rostonix · 05.01.2013

по идеи с amp тоже страницы открываться должны.
но вообще можно просто заменить, как вам верно подсказали :-)

speaker · 19.10.2013

Может есть регулярка которая может выпорсить все маил адреса со страницы

ZennoScript · 20.10.2013

speaker сказал(а):
Может есть регулярка которая может выпорсить все маил адреса со страницы

[\.\-_A-Za-z0-9]+?@[\.\-A-Za-z0-9]+?[\.A-Za-z0-9]{2,}
ну вот как то так.

speaker · 20.10.2013

[_a-z0-9-]+(\.[_a-z0-9-]+)*@[a-z0-9-]+(\.[a-z0-9-]+)*(\.[a-z]{2,4}) я еще вот такую нашел, вроде тоже пашет, а так вашу попробую, спасибо.

Grek · 27.01.2015

rostonix сказал(а):
А вот вообще для всех ссылок:

Код:

(http|ftp|https):\/\/[\w\-_]+(\.[\w\-_]+)+([\w\-\.,@?^=%&:/~\+#]*[\w\-\@?^=%&/~\+#])?

А как можно подкрутить регулярку чтобы исключить из результатов ссылки, в которых есть определенные слова, например "mobile"

Grek · 27.01.2015

Сам уже нашел

Код:

(http|ftp|https):\/\/[\w\-_]+(\.[\w\-_]+)+([\w\-\.,@?^=%&amp;:/~\+#]?!/ЧтоИсключаем/*[\w\-\@?^=%&amp;/~\+#])?

maryan · 28.01.2015

поделюсь парсером всех внутренных ссылок с страницы
https://www.sendspace.com/file/k67kd2
суем в mylink.txt сайты и получаем все ссылки в spisok.txt

proffman · 13.11.2015

Grek сказал(а):
Сам уже нашел

Код:

(http|ftp|https):\/\/[\w\-_]+(\.[\w\-_]+)+([\w\-\.,@?^=%&:/~\+#]?!/ЧтоИсключаем/*[\w\-\@?^=%&/~\+#])?

В таком виде у меня ссылки обрезает после слеша. Что нужно изменить чтобы ссылки не обрезало?

И еще как добавить несколько исключающий слов в данную регулярку..

YANKEES · 06.04.2016

maryan сказал(а):
поделюсь парсером всех внутренных ссылок с страницы
https://www.sendspace.com/file/k67kd2
суем в mylink.txt сайты и получаем все ссылки в spisok.txt

Привет а можно ссылочку плиз, буду очень благодарен!

pg2016 · 27.08.2016

не работает регулярка <a href="(.*)" target="_blank"><strong>(.*)</strong></a>, в конструкторе все ок, перехожу на нужную страницу - не работает

pg2016 · 27.08.2016

разработчики, помогите, пожалуйста. Купил вашу программу, на сайте была обещана поддержка - по факту отвечаете только на самые простые вопросы типа электронной почты, по практике - ответов ноль

pg2016 · 27.08.2016

привожу скриншот, эти пункты работают или нет? Или кому и куда писать и задавать вопросы?

блин сделал сам, надо было dom брать, но вопрос по поддержке актуален! Смысл писать на сайте чего нет!

doc · 27.08.2016

создай топ, опиши подробно проблему, приложи код и все необходимое и обитатели форума тебе помогут гораздо быстрее. Не надо поднимать старые топы

pg2016 · 27.08.2016

doc, в следующий раз обязательно так и сделаю. Но вот я нашел текст на странице, положил его в переменную, получился список из 25 строк. Как потом заставить зенку нажать на ссылку, содержащую нужный текст? Положил найденные ссылки в переменную, выбираю рандомную переменную с нужным тегом а на странице, по месту, содержащему переменную нужно нажать... Не найду в инструментах поиск нужного текста.
Думал сделать через переход на страницу - не работает

Получился список вида:
...

Спасибо за молчание)

Нашел(что-то купил) курсы по зенке от админов этого форума, многое становится понятнее. За что им отдельное спасибо.

pg2016 · 01.09.2016

Наконец-то автоматизировал заполнение своего сайта! Моей радости нет предела! Зенка супер, разрабы молодцы, спасибо за отличный софт, по учебе нашел информацию на форуме и от добрых людей в сети. Кто ищет - тот всегда найдет. Ругнулся выше не со зла.
Шаблончик во вложении простой, но очень мне помогает, буквально за пару часов сделал и отлично работает. Буду дальше автоматизировать.

Надо будет на django сайте попробовать, много ssh команд, как с ними Зенно интересно

KolkaPetkinSyn · 08.04.2019

rostonix сказал(а):
Код:

http://.*Ваше_слово_для_поиска.*?(?=")|www.*Ваше_слово_для_поиска.*?(?=")

Попробовал данную регулярку

Код:

https://.*my-domin.ru.*?(?=")|www.*my-domin.ru.*?(?=")

но добавляется много мусора.

Может я в регулярке напортачил? Или может новые способы появились?
И как можно убрать ссылки на файлы одним разом?

solomad · 18.05.2019

maryan сказал(а):
поделюсь парсером всех внутренных ссылок с страницы
https://www.sendspace.com/file/k67kd2
суем в mylink.txt сайты и получаем все ссылки в spisok.txt

Привет. Если шаблон еще существует, то можно актуальную ссылку?

JOIO · 14.02.2020

maryan сказал(а):
поделюсь парсером всех внутренных ссылок с страницы
https://www.sendspace.com/file/k67kd2
суем в mylink.txt сайты и получаем все ссылки в spisok.txt

Привет, очень благодарен за парсер, можно актуальную ссылку? плиз!

BuenDia · 20.05.2020

JOIO сказал(а):
Привет, очень благодарен за парсер, можно актуальную ссылку? плиз!

Всю ночь ищу такую софтину, было бы не плохо воспользоваться парсером.
maryan можешь обновить ссылку? Я находил шаб с таким функционалом, только там по 1 странице парсит.

Парсинг ссылок со страниц

Client

Известная личность

Известная личность

Client

Известная личность

Client

Client

Client

Известная личность

Client

Client

Известная личность

Client

Moderator

Client

Client

Client

Client

Client

Новичок

Client

Client

Client

Вложения

Client

Client

Client

Вложения

Client

Client

Новичок

Client

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)