Как реализовать сбор мыл с разных сайтов

[mondayx]

Есть список сайтов, с которых нужно спарсить мыльники
Алгоритм за которым я хочу это делать:
1. Заходим на сайт
2. Делаем поиск по сайту ссылки с текстом "Контакты" или "Связь с нами"
3. Переходим по ссылке
4. Находим знак "@"
5. Парсим мыло целиком


Посоветуйте, как это реализовать или более рациональный алгоритм.

 

[Sergodjan]

Есть список сайтов, с которых нужно спарсить мыльники
Алгоритм за которым я хочу это делать:
1. Заходим на сайт
2. Делаем поиск по сайту ссылки с текстом "Контакты" или "Связь с нами"
3. Переходим по ссылке
4. Находим знак "@"
5. Парсим мыло целиком


Посоветуйте, как это реализовать или более рациональный алгоритм.

я бы еще с главной страницы парсил, там тоже мыло бывает, например в шапке, сайдбаре или в футере.. Проверять на наличие @ необязательно, просто парсить регуляркой..
Регулярка:

(\w+@[a-zA-Z0-9-_]+?\.[a-zA-Z]{2,6})

 

[mondayx]

Спасибо за регулярку
Тоесть можно прописать все возможные адреса страниц с контактами и парсить переходя на них все?

Например:
site.ru
site.ru/contacts.html
site.ru/contacts.htm
site.ru/contacty.html
site.ru/contacty.htm
site.ru/kontakty.html
site.ru/kontakty.htm

Или есть какой-то более рациональный способ ?

Кстати, как заставить браузер переходить по ссылкам вида : {-Variable.site-} kontakty.html ?

Попробовал следующие варианты:
{-Variable.site-}+kontakty.html
{-Variable.site-}'kontakty.html'
{-Variable.site-}+'kontakty.html'
'{-Variable.site-}'+'kontakty.html'
'{-Variable.site-}kontakty.html'
'{-Variable.site-}+kontakty.html'

 

[alekwuy]

смотря что у вас в {-Variable.site-}
если там http://site.ru то {-Variable.site-}/kontakty.html

 

[mondayx]

смотря что у вас в {-Variable.site-}
если там http://site.ru то {-Variable.site-}/kontakty.html

дак смысл в том, что экшн не вписывает в строку браузера то, что я пишу после переменной
не важно правильно или не правильно
экшен должен вписать в строку браузера данные а тогда нажать Enter, если адрес правильный - заход на страницу. Если такой страницы нет - то "веб-страница недоступна"

 

[Sergodjan]

дак смысл в том, что экшн не вписывает в строку браузера то, что я пишу после переменной
не важно правильно или не правильно
экшен должен вписать в строку браузера данные а тогда нажать Enter, если адрес правильный - заход на страницу. Если такой страницы нет - то "веб-страница недоступна"

проверьте на всяк. случай, что именно в этот момент в переменной site..
кстати кавычки не нужны..

 

[mondayx]

Решил проблему: присвоение переменной {-Variable.site-} значения {-Variable.site-}+/kontakty.html

проверьте на всяк. случай, что именно в этот момент в переменной site..
кстати кавычки не нужны..

Да это лаг был
Сделал проект заново - все работает

Теперь вопрос по самой структуре:
возможно ли сделать стандартными екшенами в ПМ : поиск текста "контакты"->клик по тексту (так как предполагается что это ссылка)->переход на страницу контактов->парсинг мыла регуляркой
?

 

[mondayx]

Вот шаблон прикрепляю с тем, что я придумал. Время парсинга одного сайта через ПМ - 50 секунд. Но это многовато. Как оптимизировать алгоритм парсинга?

 

[alekwuy]

сделать на get запросах

 

[Sergodjan]

Вот шаблон прикрепляю с тем, что я придумал. Время парсинга одного сайта через ПМ - 50 секунд. Но это многовато. Как оптимизировать алгоритм парсинга?

это через отложенную отрисовку 50 секунд?

 

[rostonix]

Вот шаблон прикрепляю с тем, что я придумал. Время парсинга одного сайта через ПМ - 50 секунд. Но это многовато. Как оптимизировать алгоритм парсинга?

шаблон ужас )
Запишите просто через конструктор действий клик по ссылке и там в значении value для href напишите варианты (contact|kontakt|kontact)
тип поиска при этом поставить regexp

 

[mondayx]

Спасибо за совет

 

[igzdizain]

шаблон ужас )
Запишите просто через конструктор действий клик по ссылке и там в значении value для href напишите варианты (contact|kontakt|kontact)
тип поиска при этом поставить regexp

на какую ссылку кликать?

 

[rostonix]

На любую) потом отредактировать экшен) Изменив условия поиска элемента

 

[Дмитрий77-63]

Есть какие нибудь изменения по шаблону по поиску мыл?
может у кого есть рабочая версия,я бы прикупил для сбора мыл..

 

[Sergodjan]

есть программа замечательная (один из вариантов) ePochta Extractor
собирает хорошо..
шаблон, мне кажется, все равно не даст эффективности для сбора мыл..

 

[doc]

заходим на главную, парсим все ссылки, удаляем не пренадлежащие сайту и ищем мыло по ним уже. Это будет много дольше, зато пробив будет)