Регулярка для парсинга ссылок

[vitbn58]

Привет! Ребят не подскажите , есть ли универсальное регулярное выражение для парсинга ссылок и email-ов со страницы? . Пока пользуюсь этим (?<=href=")http://.*?(?=") и этим [\.\-_A-Za-z0-9]+?@[\.\-A-Za-z0-9]+?[\.A-Za-z0-9]{2,}, но это для конкретного сайта, неизвестно как на других будет работать. И еще вопрос как сделать, чтобы бот не уходил за пределы сайта?

 

[VladZen]

для ссылок - http://.*?(?=")
для e-mail - (\w+@.*?\.\w+)
Поясните, что значит бот уходит за пределы сайта.

 

[LexxWork]

наверно бот кликает по ссылкам, которые находятся за пределами боди страницы.
нужно каждую ссылку проверять где она находится, какой ее размер и сравнивать с шириной и высотой боди

 

[vitbn58]

для ссылок - http://.*?(?=")
для e-mail - (\w+@.*?\.\w+)
Поясните, что значит бот уходит за пределы сайта.

Мне допустим надо чтоб он собирал ссылки непосредственно например в пределах форума, а не выходил на сторонние ресурсы, рекламу там и прочие ненужные мне страницы. Походу это не решается, ссылка на рекламы хоть как проходит... Еще сразу спрошу. Если возможно опишите вкратце как сделать шаб, чтоб он работал многопоточно. Чет никак не соображу - не додумаюсь как как сделать чтоб каждый поток повторно ссылки не брал уже отсканированые предыдущим потоком.

 

[VladZen]

Мне допустим надо чтоб он собирал ссылки непосредственно например в пределах форума, а не выходил на сторонние ресурсы, рекламу там и прочие ненужные мне страницы. Походу это не решается, ссылка на рекламы хоть как проходит...

Бот собирает ссылки на той странице, на которой указываете в качестве сурса. Если парсятся лишние ссылки - это точность регулярки.

 

[vitbn58]

Бот собирает ссылки на той странице, на которой указываете в качестве сурса. Если парсятся лишние ссылки - это точность регулярки.

Да эт я понял. Я имею ввиду. Допустим на странице есть полезные ссылки и ссылки бесполезные (реклама, ит.д.). Нет способа отсеять ненужное? Я пока майлы отсеиваю которые содержат support)

 

[VladZen]

Да эт я понял. Я имею ввиду. Допустим на странице есть полезные ссылки и ссылки бесполезные (реклама, ит.д.). Нет способа отсеять ненужное? Я пока майлы отсеиваю которые содержат support)

А как их понять, полезные они или нет?)

 

[vitbn58]

А как их понять, полезные они или нет?)

)) Ну как вариант - полезные точно те что содержат в себе URL главной страницы! Наверно так тока и остается отсеивать, хотя и полезное будет уходить. Ну как говориться лучше меньше , но качественней!)

 

[LexxWork]

когда я делал для себя такой парсер то первым делом опредял доменое имя ресурса чтобы понять какие ссылки внешние, а какие внутренние. Потом просто рекусривно ходил по ссылкам и смотрел изменился ли домен после перехода. Если изменился, то значит эту ссылку удаляем если нужно. Еще лучше сразу же при получении контентайпа отсекать лишний контент, чтобы не захламлять трафик всякими картинками и прочей фигней.
для зенопостера такие задачи очень непродуктивны. Лучше пользоваться сторонним софтом без ограничений на потоки и возможностью использовать внешний пул задач и внешнее хранилище уникальных ссылок .

 

[vitbn58]

когда я делал для себя такой парсер то первым делом опредял доменое имя ресурса чтобы понять какие ссылки внешние, а какие внутренние. Потом просто рекусривно ходил по ссылкам и смотрел изменился ли домен после перехода. Если изменился, то значит эту ссылку удаляем если нужно. Еще лучше сразу же при получении контентайпа отсекать лишний контент, чтобы не захламлять трафик всякими картинками и прочей фигней.
для зенопостера такие задачи очень непродуктивны. Лучше пользоваться сторонним софтом без ограничений на потоки и возможностью использовать внешний пул задач и внешнее хранилище уникальных ссылок .

Да пробовал я датакол, епочта и др. - они вообще не парсят нифига большинство сайтов, какието ошибки выдают и все, а зенка тока в путь. Можешь порекомендовать нормальный сторонний?

 

[LexxWork]

я делаю парсеры на грабе https://github.com/lorien/grab
первоклассный проект и абсолютно бесплатный.

 

[vitbn58]

я делаю парсеры на грабе https://github.com/lorien/grab
первоклассный проект и абсолютно бесплатный.

Ну ты продвинутый чувак - энглишь знаешь, а мне как ватнику быть?)

 

[LexxWork]

вобщето граб русский и доки на русском )

 

[ZennoScript]

Так а в коде страницы есть домен? Можно собирать только те ссылки, которые начинаются на нужный домен.
Т.е. регулярка, которая собирает ссылки должна выглядеть как то так:
(?<=href=")http://domen.com.*?(?=")

 

[Lexicon]

Граб - вещь! Сам уже 2 года гоняю.

Посмотрите xenu или netpeak spider

 

[vitbn58]

Ну

Граб - вещь! Сам уже 2 года гоняю.

Посмотрите xenu или netpeak spider

Спасибо. Ну как я понял netpeak spider ссылки грабит. А дальше, чтобы получить мыло, загонять полученные страницы опять же в зенну и собирать мыло?

 

[Lexicon]

ну да
Имхо вообще xenu поудобнее будет она прям в txt файл это все выгружает, но смотрите сами как вам проще

 

[7make]

https://developer.mozilla.org/ru/docs/Web/API/Document/links

JS => Выполнить на текущей странице

var links = document.links;
var list = new Array(links.length);

for(var i = 0; i < links.length; i++) {
  list[i] = links[i].href;
}

return list.join("\n");

===

Можно еже фантом заюзать.
http://phantomjs.org/

п.с

вобщето граб русский и доки на русском )

Граб - вещь! Сам уже 2 года гоняю.

как у граба с JS дела и сколько памяти жрет в среднем на 1 поток?

 

[vitbn58]

ну да
Имхо вообще xenu поудобнее будет она прям в txt файл это все выгружает, но смотрите сами как вам проще

Оптимально для себя решил, ссылки парсю netpeak spider, затем обычной епочтой мыло собираю по ссылкам. netpeak spider примерно 40-80 минут 20000 ссылок парсит, что неплохо. А вот со сбором мыла со спарсенных страниц, епочта быстрей оказалась чем зенна, хотя тоже медленно. Не знаешь какой парсер мыл пошустрей со страниц?

 

[Lexicon]

как у граба с JS дела и сколько памяти жрет в среднем на 1 поток?

C JS у него плохо, но как то я обхожусь без него. Постер из него конечно так себе, но парсер хороший

Если честно - никогда не забивал себе голову сколько жрет на один поток. Я обычно гоняю спайдер а он однопоточный но асинхронный. Задания выдаю из генератора, сохраняю или в файл или в БД... 600 потоков - летает только в путь, а в памяти лежит... ну допусть пусть те же 600 lxml объектов страницы не думаю что это сильно больше 100 метров

 

[LexxWork]

можно вобще не парсить страницу в html, а просто искать то что нужно как в тексте.

 

[proffman]

https://developer.mozilla.org/ru/docs/Web/API/Document/links

JS => Выполнить на текущей странице

var links = document.links;
var list = new Array(links.length);

for(var i = 0; i < links.length; i++) {
  list[i] = links[i].href;
}

return list.join("\n");

Как допилить код чтобы через запятую не парсил ссылку если в ней содержится определенный текст например
/xml
/#
и.т.д...

 

[proffman]

Как допилить код чтобы через запятую не парсил ссылку если в ней содержится определенный текст например
/xml
/#
и.т.д...

Нужно дописать условие и регулярку вот только с js никогда не работаю...
---
+ еще допилить домен для парсинга именно внутренних ссылок а не внешних

 

[Andi88]

https://developer.mozilla.org/ru/docs/Web/API/Document/links

JS => Выполнить на текущей странице

var links = document.links;
var list = new Array(links.length);

for(var i = 0; i < links.length; i++) {
  list[i] = links[i].href;
}

return list.join("\n");

===

Можно еже фантом заюзать.
http://phantomjs.org/

п.с




как у граба с JS дела и сколько памяти жрет в среднем на 1 поток?

Подскажите, как сделать, чтобы сохранялся результат в список?

 

[rostonix]

То что получилось добавляйте в список экшеном Операции с текстом - В список

 

[Andi88]

То что получилось добавляйте в список экшеном Операции с текстом - В список

Добавляет вот так- в 1 группу

 

[Andi88]

Разобрался с разделителями (вставить разделитель свой > галочка Regxp > вписать \n)

 

[Redsmokky]

Так а в коде страницы есть домен? Можно собирать только те ссылки, которые начинаются на нужный домен.
Т.е. регулярка, которая собирает ссылки должна выглядеть как то так:
(?<=href=")http://domen.com.*?(?=")

Не совсем понял как работает такая регулярка, я например пытаюсь им сграбить ссылки с сайта http://www.domik-v-derevne.com
Результат нулевой(

 

[vrb-by]

для ссылок - http://.*?(?=")
для e-mail - (\w+@.*?\.\w+)
Поясните, что значит бот уходит за пределы сайта.

Спасибо за регулярку для e-mail ! Только попался на глаза e-mail ([email protected]) с которым она не справилась( может можно ее доработать и под такой случай?

 

[Dimionix]

Спасибо за регулярку для e-mail ! Только попался на глаза e-mail ([email protected]) с которым она не справилась( может можно ее доработать и под такой случай?

[\w\-]+@[\w\-]+\.\w+