- Регистрация
- 09.06.2014
- Сообщения
- 405
- Реакции
- 200
- Баллы
- 43
Появилась необходимость создать шаблон по парсер женских фото с их анкетами с dating-сайта. Ну и просмотрев спрос на данную тематику, ниже будет скриншот из поиска , я пришел к выводу, что такой шаблон не помешает никому. Представляю небольшой шаблон по парсингу женских фотографий с одного сайта знакомств. Сразу отпишусь, что идею я взял с сайта складчин , и автор уже заработал денюжку поэтому я сей шаблон выложу бесплатно! тем более что взята за основу только идея , остальное написанно самолично, ну и + доработки по мелочи.
Функции шаблона:
1. Автоматический сбор ссылок на женские анкеты
2. Авто сбор ссылок на фотографии с собранных анкет
3. Авто скачивание фотографий по собранным ссылкам
4. Авто сортировка фотографий по уникальным папкам (в каждой папке фото только одной конкретной девушки)
5. Авто скачивание анкеты девушки (кладется в текстовый файл вместе с её фото)
Поиск
О надобности такого шаблона я подумывал давно , как-то даже писал на python подобное , но всё таки сотворил на zennoposter. А подтолкнуло меня вот что я немного работал в dating сфере и просто написал такого рода запрос «dating страницы» и вот что выдал google.
И в основном все ответы были с сайтов со складчинами где люди покупали шаблоны для этого , вот я и решил к чему платить деньги за то что можно сделать самому!
Создание
И так сам шаблон и его настройки настройки очень даже простенькие. Количество запросов при пустой странице, бывает что сайт не отдает с первого раза страничку. Задержка в секундах, ну чтоб нас не забанил сайт за частые запросы. И сколько страниц парсить, учтите что на каждой странице 20 анкет девушек.
вот пример странички с девушками
Данные по шаблону:
Писался и проверялся в работе на ZP 5.9.9.5+
Шаблон работает без использования браузера — только GET-запросы и регулярки (минимальный расход трафика и высокая скорость работы)
Шаблон работает только в 1 поток, а больше и не нужно.
Основные подсказки по шаблону прописаны во входных настройках (на скрине часть видна). Настроек минимум.
Также необходима библиотека HtmlAgilityPack.dll она присутствует в шаблоне в папке. Её нужно забросить в папку ExternalAssemblies где установлен ваш Zennoposter.
Вопросы — Ответы
Будет ли работать на демо-версии — да, должен, но не проверял.
Будет ли поддержка шаблона — да, правки вносится будут, если будет необходимость
Будет ли развитие шаблона — глобальных изменений пока не планирую
Нужны ли доп. затраты — нет, кроме наличия ZennoPoster больше ничего не надо
Что за сайт, откуда парсим — https://bridesbay.com/
Много ли фотографий, анкет — около 6 000 анкет, около 66 000 фотографий +
Какого качества фото — хорошего качества
Есть ли ню-фото — не нашел таких, все в одежде, хотя одежда разной длины, открытости и откровенности
Кому пригодится шаблон — многим, кто занимается как dating-направлением в соц. сетях, так и просто работает с женскими аккаунтами, кому необходима именно серия фотографий одной девушки
Возраст, ГЕО девушек — 20-40 лет, РФ, Украина (может СНГ)
Сколько фотографий в анкете — по разному, у кого-то 5-10 шт, а есть и по 35 фотографий на анкете.
Вот как выглядит готовый материал
Важный момент , при повторном парсинге шаблон проверяет наличие папок с анкетами , и пропускает уже спаршенные профили и парсит только новые. Поэтому достаточно поставить его на парсинг по расписанию и он будет парсить только новые анкеты , так как на сайте они автоматом перемешиваются.
Шаблон в 1 кубике так что допилив можно использовать как блок в своем шаблоне) Удачных парсингов.
- Номер конкурса шаблонов
- Первый конкурс шаблонов
- Уровень сложности
- Продвинутый
- Категория
- Парсинг
- Dating
, тем более вам за него платят и то это прекрасно, значит я Ваш хлеб не забираю) .
