- Регистрация
- 03.12.2020
- Сообщения
- 161
- Реакции
- 114
- Баллы
- 43
Всем привет. Я новичек. Шаблон создан, чтобы набраться опыта и накопить на лицензию ZennoPoster.
Я не особый мастер витиеватого слога, поэтому начну сразу с сути.
Этот шаблон собирает анкеты участниц (участников) социальной сети https://onlyfans.com используя бесплатный сервис https://onlyfinder.com. Сервис позволяет собирать анкеты по определенному запросу, что дает нам возможность собирать данные в общую таблицу и в дальнейшем делать выборки наиболее популярных участников, или выгружать тех, у кого есть бесплатная подписка.
Данный шаблон может очень пригодиться в дейтинге для сбора фото и видеоматериала реально существующих людей. Это даёт возможность создавать долгоживущие профили в других соцсетях, поскольку, контент регулярно обновляется и дополняется.
Входные параметры лаконичны - название запроса, по которому будет делаться выборка, пауза в секундах между прокрутками экрана, конечный .csv файл для складывания полученных данных, и через сколько прокруток производить парсинг.
Карта шаблона выглядит следующим образом:
Шаблон браузерный и начинается с привязки конечного файла и чистки кук и кэша, далее происходит загрузка сервиса и заполнение поля запроса через эмуляцию клавиатуры. С прокруткой тоже ничего о сверхъестественного, разве что мы считаем скроллы, для того чтобы по достижении значения, заданного во входных параметрах сделать выгрузку. Поскольку страница может оказаться бесконечной, то надо было предусмотреть вариант сохранения промежуточных данных. В процессе родилось такое решение. Мы скроллим, например, 20 раз. Далее сбрасываем данные в файл, при этом, чтобы не напрягать дисковую подсистему мы проверяем список на существование спаршенных данных. Таким образом решается проблема дублей. И именно поэтому для записи результата используется список, а не таблица. При отсутствии записи сам кубик дает ошибку и это позволяет не создавать дополнительных проверочных блоков, хотя, более чем уверен, что это можно решить как то иначе
После того, как временный список со спаршенными блоками опустеет, мы выполняем еще одну проверку на изменение высоты дивов, и если высота до и после скролла не совпадают, - продолжаем прокрутку. И так до тех пор, пока это условие не будет соблюдено. Тогда парсинг в этом инстансе прекратится.
На выходе мы получаем вот такую табличку:
"Ссылка на профиль";"Лайки";"Подписчики";"Количество фото";"Количество видео";"Цена за подписку"
.csv с разделителем ";" - прекрасно открывается экселем и готов к выборке без лишних телодвижений.
В принципе, возможен многопоточный парсинг, при использовании прокси и подхода 1 поток 1 запрос.
Шаблон открытый и, насколько, я понимаю, его потенциал далёк от полного раскрытия
Спасибо за ваше время и удачи!
- Номер конкурса шаблонов
- Седьмой конкурс шаблонов
- Уровень сложности
- Средний
- Категория
- Парсинг
