Парсинг ссылок со страниц

vovafrost · 19.09.2012

Интересуют следующие вопросы:

1. могу ли я собрать все подряд ссылки со страницы (т.е парсер сам определяет является ли элемент ссылкой и кидает ее в файл)
2. Есть ли сбор ссылок с использованием фильтра? ( т.е. я пишу часть ссылки, а парсер собирает мне только ссылки, которые соответсвуют шаблону, без необходимости вводить что до и после ссылки в конструкторе)

в данный момент пользую конструктор, но прописывать кучу вещей для парсинга обычных ссылок утомительно (сравниваю с алгоритмами content downloader).

rostonix · 19.09.2012

Можно использовать такую регулярку для поиска всех ссылок, содержащих нужное слово:

Код:

http://.*Ваше_слово_для_поиска.*|www.*Ваше_слово_для_поиска.*

rostonix · 19.09.2012

А вот вообще для всех ссылок:

Код:

(http|ftp|https):\/\/[\w\-_]+(\.[\w\-_]+)+([\w\-\.,@?^=%&amp;:/~\+#]*[\w\-\@?^=%&amp;/~\+#])?

vovafrost · 19.09.2012

rostonix написал(а):
Можно использовать такую регулярку для поиска всех ссылок, содержащих нужное слово:

Код:

http://.*Ваше_слово_для_поиска.*|www.*Ваше_слово_для_поиска.*

при таком способе парсит ссылки, но включая и другой код после ссылки, т.е. ставлю код в парсинг метод DOM , в качестве ключа указываю домен - начало ссылки находит, конец не видит - парсит вместе с html тегами.

rostonix · 19.09.2012

Код:

http://.*Ваше_слово_для_поиска.*?(?=")|www.*Ваше_слово_для_поиска.*?(?=")

vovafrost · 19.09.2012

Спасибо, теперь понял что в регулярках одного знака не хватало )

vovafrost · 19.09.2012

Возникла проблема при обработке ссылок во время парсинга, в конструкторе регулярок ссылка вида

http://сайт.ru/portal.php?mod=list&catid=5 парсится как http://сайт.ru/portal.php?mod=list&catid=5

т.е. заменяет знак при парсинге, не знаю как поправить.

вот ниже выражение которое парсит ссылку:

(?<=href=")http://сайт\.ru/portal\.php\?mod=list.*?(?=") (т.е. часть ссылки со знаком &catid я убрал и добавил в конце ? - без вопроса берет html текст после ссылки еще, несмотря на условие в скобках).

А вот какой код дает конструктор если ввести в него неизменяюемую часть ссылки:

(?<=\ href=")http://сайт\.ru/portal\.php\?mod=list&catid=.*(?=") - но это выражение при парсинге не работает.

получается не могу спарсить ссылку со знаком & внутри ссылки (конструктор в этом случае дает код неверный)

mavitua · 19.09.2012

Бывают еще ссылки без домена типа:
<a href="/catalog/index.htm">
<a href="/index.htm">
<a href="index.htm">

rostonix · 19.09.2012

А разве с amp ссылка работать не будет?

Неполные ссылки это отдельный разговор.
Их можно парсить простой регуляркой

Href=" до искомого
" после

Но не всегда они нужны.

strannic · 04.01.2013

Вопрос по теме как раз нарисовался, такая же проблема
парсит ссылки вида "/?area=Anketa&userId=921488154&fromsearch=1&hit=10"
но знак "&" заменяет на "&"
и в итоге получаю ссылку "/?area=Anketa&userId=921488154&fromsearch=1&hit=10"
и она не работает при переходе.
Захотел попробовать методом замены, но пока не сообразил как в списке произвести замену.
rostonix подскажите что можно сделать в этой ситуации ?

blackeye · 04.01.2013

У меня была подобная ситуация. Ни в какую не подтверждалось письмо с ссылкой в которой были %40 и &
Поменял на @ и & соответственно - заработало
Использовал "Обработка текста"

rostonix · 05.01.2013

по идеи с amp тоже страницы открываться должны.
но вообще можно просто заменить, как вам верно подсказали

speaker · 19.10.2013

Может есть регулярка которая может выпорсить все маил адреса со страницы

ZennoScript · 20.10.2013

speaker написал(а):
Может есть регулярка которая может выпорсить все маил адреса со страницы

[\.\-_A-Za-z0-9]+?@[\.\-A-Za-z0-9]+?[\.A-Za-z0-9]{2,}
ну вот как то так.

speaker · 20.10.2013

[_a-z0-9-]+(\.[_a-z0-9-]+)*@[a-z0-9-]+(\.[a-z0-9-]+)*(\.[a-z]{2,4}) я еще вот такую нашел, вроде тоже пашет, а так вашу попробую, спасибо.

Grek · 27.01.2015

rostonix написал(а):
А вот вообще для всех ссылок:

Код:

(http|ftp|https):\/\/[\w\-_]+(\.[\w\-_]+)+([\w\-\.,@?^=%&:/~\+#]*[\w\-\@?^=%&/~\+#])?

А как можно подкрутить регулярку чтобы исключить из результатов ссылки, в которых есть определенные слова, например "mobile"

Grek · 27.01.2015

Сам уже нашел

Код:

(http|ftp|https):\/\/[\w\-_]+(\.[\w\-_]+)+([\w\-\.,@?^=%&amp;:/~\+#]?!/ЧтоИсключаем/*[\w\-\@?^=%&amp;/~\+#])?

maryan · 28.01.2015

поделюсь парсером всех внутренных ссылок с страницы
https://www.sendspace.com/file/k67kd2
суем в mylink.txt сайты и получаем все ссылки в spisok.txt

proffman · 13.11.2015

Grek написал(а):
Сам уже нашел

Код:

(http|ftp|https):\/\/[\w\-_]+(\.[\w\-_]+)+([\w\-\.,@?^=%&:/~\+#]?!/ЧтоИсключаем/*[\w\-\@?^=%&/~\+#])?

В таком виде у меня ссылки обрезает после слеша. Что нужно изменить чтобы ссылки не обрезало?

И еще как добавить несколько исключающий слов в данную регулярку..

YANKEES · 06.04.2016

maryan написал(а):
поделюсь парсером всех внутренных ссылок с страницы
https://www.sendspace.com/file/k67kd2
суем в mylink.txt сайты и получаем все ссылки в spisok.txt

Привет а можно ссылочку плиз, буду очень благодарен!

pg2016 · 27.08.2016

не работает регулярка <a href="(.*)" target="_blank"><strong>(.*)</strong></a>, в конструкторе все ок, перехожу на нужную страницу - не работает

pg2016 · 27.08.2016

разработчики, помогите, пожалуйста. Купил вашу программу, на сайте была обещана поддержка - по факту отвечаете только на самые простые вопросы типа электронной почты, по практике - ответов ноль

pg2016 · 27.08.2016

привожу скриншот, эти пункты работают или нет? Или кому и куда писать и задавать вопросы?

блин сделал сам, надо было dom брать, но вопрос по поддержке актуален! Смысл писать на сайте чего нет!

doc · 27.08.2016

создай топ, опиши подробно проблему, приложи код и все необходимое и обитатели форума тебе помогут гораздо быстрее. Не надо поднимать старые топы

pg2016 · 27.08.2016

doc, в следующий раз обязательно так и сделаю. Но вот я нашел текст на странице, положил его в переменную, получился список из 25 строк. Как потом заставить зенку нажать на ссылку, содержащую нужный текст? Положил найденные ссылки в переменную, выбираю рандомную переменную с нужным тегом а на странице, по месту, содержащему переменную нужно нажать... Не найду в инструментах поиск нужного текста.
Думал сделать через переход на страницу - не работает

Получился список вида:
...

Спасибо за молчание)

Нашел(что-то купил) курсы по зенке от админов этого форума, многое становится понятнее. За что им отдельное спасибо.

pg2016 · 01.09.2016

Наконец-то автоматизировал заполнение своего сайта! Моей радости нет предела! Зенка супер, разрабы молодцы, спасибо за отличный софт, по учебе нашел информацию на форуме и от добрых людей в сети. Кто ищет - тот всегда найдет. Ругнулся выше не со зла.
Шаблончик во вложении простой, но очень мне помогает, буквально за пару часов сделал и отлично работает. Буду дальше автоматизировать.

Надо будет на django сайте попробовать, много ssh команд, как с ними Зенно интересно

KolkaPetkinSyn · 08.04.2019

rostonix написал(а):
Код:

http://.*Ваше_слово_для_поиска.*?(?=")|www.*Ваше_слово_для_поиска.*?(?=")

Попробовал данную регулярку

Код:

https://.*my-domin.ru.*?(?=")|www.*my-domin.ru.*?(?=")

но добавляется много мусора.

Может я в регулярке напортачил? Или может новые способы появились?
И как можно убрать ссылки на файлы одним разом?

solomad · 18.05.2019

maryan написал(а):
поделюсь парсером всех внутренных ссылок с страницы
https://www.sendspace.com/file/k67kd2
суем в mylink.txt сайты и получаем все ссылки в spisok.txt

Привет. Если шаблон еще существует, то можно актуальную ссылку?

JOIO · 14.02.2020

maryan написал(а):
поделюсь парсером всех внутренных ссылок с страницы
https://www.sendspace.com/file/k67kd2
суем в mylink.txt сайты и получаем все ссылки в spisok.txt

Привет, очень благодарен за парсер, можно актуальную ссылку? плиз!

BuenDia · 20.05.2020

JOIO написал(а):
Привет, очень благодарен за парсер, можно актуальную ссылку? плиз!

Всю ночь ищу такую софтину, было бы не плохо воспользоваться парсером.
maryan можешь обновить ссылку? Я находил шаб с таким функционалом, только там по 1 странице парсит.

Парсинг ссылок со страниц

Client

Мистер

Мистер

Client

Мистер

Client

Client

Client

Мистер

Client

Client

Мистер

Client

Moderator

Client

Client

Client

Client

Client

Новичок

Client

Client

Client

Вложения

Client

Client

Client

Вложения

Client

Client

Новичок

Client

Похожие темы

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)