Парсинг фотографий из анкет (rulove)

  • Автор темы Автор темы Hitachi
  • Дата начала Дата начала
Название тестового шаблона
RuLove Парсинг фото по полу test

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Реакции
348
Баллы
63
Описание

Шаблон работает в двух режимах: парсинг аватаров и парсинг всех фото из анкеты.
Работает без браузера, на запросах. Минимальная версия ZP 5.40.

Шаблон подгружает анкеты указанного во входных настройках пола и возраста, пока не будет загружено нужное количество (также указывается во входных настройках).
Далее, в зависимости от режима, либо парсит аватары из каждой анкеты, либо сохраняет все фото из каждой анкеты.
Минимальное разрешение фото можно указать во входных настройках (чтобы загружать все - оставить 0 для ширины и для высоты).

Как пользоваться?

Во входных настройках указать:
  • режим работы;
  • пол;
  • возраст;
  • сколько анкет парсить;
  • минимальную ширину и высоту фото в пикселях.
В файл proxy.txt добавить прокси.

В папке Results результаты парсинга разделены по полу (Male/Female) и по режиму парсинга для каждого пола (Avatars/all_photos).

Если из анкеты уже спаршены все фото/аватар - они не перезаписываются
 
Категория
  1. Парсинг
  2. Dating
Тип шаблона
Открытый
Многопоточность
Нет
Дата обновления
16.03.2020
Описание обновления
Добавлена пауза после сохранения изображения

Вложения

ошибка-e46bfdc3-ae6e-4afb-8352-9c3c3558a50c
 

Вложения

  • 2020-02-18_210920.png
    2020-02-18_210920.png
    23 KB · Просмотры: 401
что может быть?что не так делаю!:(
 
То же выскакивает ошибка
5d4e5f5b-4442-46d2-bce9-6ef2eb486df9
50392
1582045538964.png
 
Странно. Ошибки вроде как в ситуации когда с библиотеками проблема, но в шаблоне нет библиотек. Может зенки какие-то допотопные ("Минимальная версия ZP 5.40 ") и там нет кукиконтейнера. но тогда бы в логе писало это. Там правда еще ошибка в присвоении int и некритическая ошибка в ненужной установке прокси в безбраузерном шаблоне. Исправил, но лучше пусть ТС сам перепроверит.
 

Вложения

Странно. Ошибки вроде как в ситуации когда с библиотеками проблема, но в шаблоне нет библиотек. Может зенки какие-то допотопные ("Минимальная версия ZP 5.40 ") и там нет кукиконтейнера. но тогда бы в логе писало это. Там правда еще ошибка в присвоении int и некритическая ошибка в ненужной установке прокси в безбраузерном шаблоне. Исправил, но лучше пусть ТС сам перепроверит.
Запишите @orka13 в шаблоноклепатели не для новичков. C#, пост-гет, приложухи
 
Неблагородное это дело. К моим открытым шабам тоже можно подкопаться, никто не идеален :-).
 
Последнее редактирование:
  • Спасибо
Реакции: Juniorcpa и иван77
Описание

Шаблон работает в двух режимах: парсинг аватаров и парсинг всех фото из анкеты.
Работает без браузера, на запросах. Минимальная версия ZP 5.40.

Шаблон подгружает анкеты указанного во входных настройках пола и возраста, пока не будет загружено нужное количество (также указывается во входных настройках).
Далее, в зависимости от режима, либо парсит аватары из каждой анкеты, либо сохраняет все фото из каждой анкеты.
Минимальное разрешение фото можно указать во входных настройках (чтобы загружать все - оставить 0 для ширины и для высоты).

Как пользоваться?

Во входных настройках указать:
  • режим работы;
  • пол;
  • возраст;
  • сколько анкет парсить;
  • минимальную ширину и высоту фото в пикселях.
В файл proxy.txt добавить прокси.

В папке Results результаты парсинга разделены по полу (Male/Female) и по режиму парсинга для каждого пола (Avatars/all_photos).

Если из анкеты уже спаршены все фото/аватар - они не перезаписываются
Благодарю!
 
ошибки нет !пишит не удалось загрузить проект!
 

Вложения

  • 2020-02-20_182031.png
    2020-02-20_182031.png
    6,5 KB · Просмотры: 358
и не какой ошибки нет -что странно!зена постер 5.40 -демка !
 
680925d2-a66f-49ae-8d17-d143f333a1a2
 

Вложения

  • 2020-02-22_083458.png
    2020-02-22_083458.png
    24,9 KB · Просмотры: 369
Работает, но парсит от 20 анкет, хотя указал 5. Также не ясно, в каком формате указывать прокси.
 
Работает, но парсит от 20 анкет, хотя указал 5. Также не ясно, в каком формате указывать прокси.
Прокси указываются в формате:
Код:
Развернуть Свернуть Копировать
http://username:password@ip:port
socks5://username:password@ip:port
 
  • Спасибо
Реакции: Yura1206
Вроде не перешопленные дамы) спасибо!
 
После 172 профилей выдает ошибку.

ID действия: e46bfdc3-ae6e-4afb-8352-9c3c3558a50c


14-03-2020 10-09-19.png
 
После 172 профилей выдает ошибку.

ID действия: e46bfdc3-ae6e-4afb-8352-9c3c3558a50c

Возможно, не успел файл сохраниться. Шаблон обновлён, добавил секундную паузу.
Ошибка один раз возникала или несколько?
 
Возможно, не успел файл сохраниться. Шаблон обновлён, добавил секундную паузу.
Ошибка один раз возникала или несколько?
Я раза три парсил. Первый раз для теста решил 5 спарсить, но там минимум по умолчанию 20. Второй раз 300, из них 172 спарсилось и далее ошибка. Третий раз 200, спарсилось 220.
 
Я раза три парсил. Первый раз для теста решил 5 спарсить, но там минимум по умолчанию 20. Второй раз 300, из них 172 спарсилось и далее ошибка. Третий раз 200, спарсилось 220.

Парсится больше, потому что они по 20 подгружаются. Можно, конечно, удалять из списка лишние, чтобы было точное количество, но смысла в этом особо не вижу
 
  • Спасибо
Реакции: todayer
настройки не открываются
 
Может кто сталкивался, пару месяцев назад запускал, все было хорошо, а сейчас вылазит ошибка
ec121de3-1906-45e1-88e3-90e5d0fe2e40

Может кто сталкивался с таким?
Это на этапе экшена "Парсим блок с анкетами"
 
Скрин
 

Вложения

  • Screenshot_2.png
    Screenshot_2.png
    268,1 KB · Просмотры: 237

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)