- Регистрация
- 22.07.2015
- Сообщения
- 24
- Благодарностей
- 54
- Баллы
- 13
Парсинг почт с сайтов
- Автор темы Neval
- Дата начала
INNERSPEAKER
Новичок
- Регистрация
- 13.08.2018
- Сообщения
- 5
- Благодарностей
- 1
- Баллы
- 3
Уважаемый Neval, подскажите, как можно приспособить данный шаблон под бурж? Боюсь сломать весь код, только с кубиками начал знакомиться. Буду благодарен любому совету!
- Регистрация
- 22.07.2015
- Сообщения
- 24
- Благодарностей
- 54
- Баллы
- 13
Версия шаблона на запросах подойдёт и для буржа. Единственное можно ещё добавить в Contact - список с окончаниями ссылок страниц "Контакты" окончания более характерные для зарубежных сайтов
INNERSPEAKER
Новичок
- Регистрация
- 13.08.2018
- Сообщения
- 5
- Благодарностей
- 1
- Баллы
- 3
Без шаблона тратил бы часы времени на поиск контактов, спасибо. Протестировал все 3 шаблона, пользуюсь FULL-версией (работаю в SEO). Как по мне, это самый полноценный вариант, если не нужно обрабатывать титанические массивы информации. Подскажите, какую строку и куда нужно вставить (если это возможно), что бы данные отправлялись в excel-файл по столбцам url - email ?
smartwisard
Client
- Регистрация
- 17.01.2017
- Сообщения
- 824
- Благодарностей
- 83
- Баллы
- 28
Я для себя, может, привяжу шаблон к сайту spravker. ru , чего и вам желаю.
Hеплохой справочник именно для этого шаблона, но чуть старый.
Hеплохой справочник именно для этого шаблона, но чуть старый.
Последнее редактирование:
Ikigai
Client
- Регистрация
- 13.12.2016
- Сообщения
- 275
- Благодарностей
- 27
- Баллы
- 28
после 5000 прочеканых доменов зенка начинает жрать почти 100% ресурсов.
Останавливаю сбрасываю email адреса в другой файл и запускаю по новой...
Останавливаю сбрасываю email адреса в другой файл и запускаю по новой...
- Регистрация
- 22.07.2015
- Сообщения
- 24
- Благодарностей
- 54
- Баллы
- 13
Собирает только почты.
Шаблон прикреплён к первому сообщению и ниже в постах прикреплены ещё 2 версии шаблона
Версия шаблона на запросах подойдёт и для англоязычных сайтов. Единственное можно ещё добавить в Contact (список с окончаниями ссылок страниц "Контакты") окончания более характерные для зарубежных сайтов.
specialist
Client
- Регистрация
- 28.12.2018
- Сообщения
- 732
- Благодарностей
- 343
- Баллы
- 63
Посмотрите, как там таблица подключена и через какое время перезагрузка инстанса происходит.
Можете просто в шаблон сбора номеров телефонов добавить кубики для email, или вместо телефонов, логика сбора там похожа.
Спасибо автору. Готов задонатить соточку на киви.Приветствую!
Предлагаю вашему вниманию простой шаблон на C# для сбора Email-ов с сайтов.
Парсил на заказ контактые данные с каталогов, 2гис и т.д. И обычно почт было меньше чем сайтов, а как раз они и были больше всего нужны заказчику. Поэтому решил написать небольшой шаблон для сбора email-ов.
Даём шаблону список сайтов и получаем список адресов электронной почты.
Парсер работает через браузер и больше подходит для сбора с русскоязычных сайтов.
Алгоритм:
Конечно почты собираются не со всех сайтов. Процент собираемости более 50%. Специально для конкурса проводил тесты на списке сайтов с megastock.ru получалось около 55-60% + присутствует небольшой процент мусора около 3-5 %.
- Шаблон берёт ссылку на сайт, переходит на него, ищет email на главной странице.
- Если нашёл записывает в файл, если нет, то ищет страницу Контакты.
- Переходит на неё, если есть, и ищет email на ней.
- Если находит email, записывает его в список, а если не находит то огорченно сообщает нам, что email не найден, и записывает сайт в чёрный список.
При парсинге в 45 потоков без картинок 1000 сайтов обрабатывались примерно за 20 минут. Если отключать java-скрипты и прочее, то время составило 10 минут, но адресов электронной почты собиралось примерно на 5-15% меньше.
Никаких настроек нет, вместе с шаблоном идёт 3 текстовых файла:
- WebSite -список сайтов;
- Emails - список почт;
- BadSite - список сайтов, с которых почты собрать не удалось.
Уважаемый Neval, а обязательное условие я так понял что бы мыло подсвечивалась типо ссылка при наведении?, если не подсвечивается значит не распознано как мыло ?
потому что мыл 12 на странице а распознано одно которое подсвечено (( как быть что делать чтоб спарсить ?
потому что мыл 12 на странице а распознано одно которое подсвечено (( как быть что делать чтоб спарсить ?
или же редактировать шаблон что бы он при появлении "@" копировал все что между пробелами к примеру пробел[email protected] пробел
??? ГУРУ ПОДСКАЖИТЕ?
??? ГУРУ ПОДСКАЖИТЕ?
- Регистрация
- 22.07.2015
- Сообщения
- 24
- Благодарностей
- 54
- Баллы
- 13
Это не обязательное условие.
редактировать регулярку, которая собирает мыла со страницы
Такая-же проблема. Как решить не понимаю... Но побольше 5000. Около 15тыс могу собрать, дальше комп еле ворочается.
Последнее редактирование:
Добрый день! Шаблон еще актуален? Пытаюсь спарсить почты, но шаблон, проходя по моему списку, выдает сообщение, что почты не найдены. Хотя на большинстве заданных сайтов почта висит прям на главной странице.
- Регистрация
- 22.07.2015
- Сообщения
- 24
- Благодарностей
- 54
- Баллы
- 13
Вечер добрый!
Давно ими не пользовался, но вот сейчас проверил шаблон Collecting_Emails_Get_ParallerFor и Collecting_Emails_Full
вроде работают, правда первый не все почты собирает.
Есть ли возможность доработать шаблон, чтобы сохранял результаты в таблицу в формате, Сайт - Имейлы без дублей (и если их нет, то был пустой результат)?