Парсер фотографий с mamba.ru

  • Автор темы Автор темы wizard
  • Дата начала Дата начала
wizard

wizard

Client
Регистрация
04.10.2011
Сообщения
1 056
Реакции
720
Баллы
113
Всем привет!
Шаблон парсинга фото с сайта mamba.ru

Выполнен на GET\POST запросах (без браузера),
используется api mamba.ru, (+ к скорости)
рандомный выбор области\города из списка mamba.ru
сохраняет фото в папку вида: возраст_логин,
имеет black list - куда заносятся ранее обработанные логины,
можно указать минимальное кол-во фото у одного юзера . то есть шаб не будут скачивать фото юзера если их мало.

P.S. Сначала шаб проходится по всем страницам результата поиска - потом только скачивает фото.
Шаб работает быстро, можно в несколько потоков (потоки не будут мешать друг другу)

UP. Внес изменения - теперь в входящих настройках можно задать параметры поиска

2.png


1.png
 
Номер конкурса шаблонов
  1. Второй конкурс шаблонов
Уровень сложности
Средний
Категория
  1. Парсинг
  2. Dating

Вложения

Последнее редактирование:
  • Спасибо
Реакции: tim.go, leha52rus, Basicon и 17 других
Можно ли искать только фото с женских аккаунтов?
 
molotok написал(а):
Запустил шаблон в один поток, прошло пять минут - ни одной фотки еще не спаршено...
Может я что не так делаю?
Нажмите для раскрытия...
сейчас попровлю )))

PROforum написал(а):
Можно ли искать только фото с женских аккаунтов?
Нажмите для раскрытия...
Да, в URL в GET кубике - https://www.mamba.ru/ru/search.phtml?ia=M&lf=F&af=20&at=30

ia=M - кто мы (M - мужчина )
lf=F - кого ищем (F - женщина N - друзей)
af=20 - возраст минимально
at=30 - возраст максимально

UP. обновил - теперь все это можно делать из входящих настроек
 
Последнее редактирование модератором:
  • Спасибо
Реакции: loogle
Обажаю всё связанное с родной мамбой))) в своё время в 2009 году оооочень много денег заработал на ней руками.... Очень - это на тот момент примерно было более 100к у.е. за три месяца. Как же жалею что тогда не было такой мощной зенки в руках)))

Пы.Сы отвлекся от темы.... Шаб супер!!! пока все предпочтения этому автору!!!
 
  • Спасибо
Реакции: wizard

Вложения

  • Screenshot_5.png
    Screenshot_5.png
    41,4 KB · Просмотры: 883
afk написал(а):
ничего не менял. перекачивал шаб 2 раза

вот ещё раз скачал:
Нажмите для раскрытия...
странно, у тебя какая версия зенки? у других же, и у меня, - работает....
если хочешь могу посмотреть через teamviewer - свой скайп отправил в ЛС

UP - я тут подумал - у тебя наверно зенка ниже 5.18.0.0 - там появилась такая фича как CookieContainer - без него нужно дополнительно из GET\POST запросов вытягивать куки и прописывать их в следующий GET\POST .

Вижу два варианта для тебя )) обновиться или дописать это самому - благо шаб открытый
 
Последнее редактирование:
  • Спасибо
Реакции: afk
wizard написал(а):
странно, у тебя какая версия зенки? у других же, и у меня, - работает....
если хочешь могу посмотреть через teamviewer - свой скайп отправил в ЛС

UP - я тут подумал - у тебя наверно зенка ниже 5.18.0.0 - там появилась такая фича как CookieContainer - без него нужно дополнительно из GET\POST запросов вытягивать куки и прописывать их в следующий GET\POST .

Вижу два варианта для тебя )) обновиться или дописать это самому - благо шаб открытый
Нажмите для раскрытия...
У меня шаблон работает на зенке 5.12. добавил в шаблон возможность работать через прокси. В самом шаблоне в запросах вместо "без прокси " установил "прокси из проекта". Фотки качаются на успешно.
 
  • Спасибо
Реакции: wizard
wizard написал(а):
можно указать минимальное кол-во фото у одного юзера
Нажмите для раскрытия...
Скачивает, но установил ограничение "минимальное количество фото в анкете не меньше 30", а скачивает от 5 и больше, хотя блэк лист заполняется.
 
Strategik написал(а):
Скачивает, но установил ограничение "минимальное количество фото в анкете не меньше 30", а скачивает от 5 и больше, хотя блэк лист заполняется.
Нажмите для раскрытия...
UP. Поправил переменную :)
 

Вложения

  • Спасибо
Реакции: Aristarh и Strategik
А как же куки?))
Без кук будет крутиться долго а толку 0.
Для теста запустил, напарсило 20к в список login , удалил дубли осталось 78))
 
maloibtc написал(а):
А как же куки?))
Без кук будет крутиться долго а толку 0.
Для теста запустил, напарсило 20к в список login , удалил дубли осталось 78-))
Нажмите для раскрытия...
раньше приходилось парсить куки, обрабатывать, вставлять в следующий кубик.
теперь все просто:
Screenshot_8.png
 
  • Спасибо
Реакции: Strategik
Сливай датинг
 
gregus написал(а):
Сливай датинг
Нажмите для раскрытия...
Dating.ru — частные объявления о знакомствах ??? Всё равно не понятно что делать с этим добром, я пока не в теме, изучаю Зинку, на что она способна
 
wizard написал(а):
UP. Поправил переменную :-)
Нажмите для раскрытия...
Нужный в хозяйстве шаблон. Спасибо.
Проголосовал за него.

Мужчин только не парсит. Не подскажете, что поправить чтоб парсил?


20:09:36 "всего в поиске:2780
взяли: 0 "
20:09:38 отпарсили всех в этом регионе
20:09:38 ZennoPoster Проект C:\Users\Users\Documents\ZennoLab\Парсер фотографий с mamba.ru\v2\парс фото mamba (1).xmlz выполнен успешно!
 
Aristarh написал(а):
Нужный в хозяйстве шаблон. Спасибо.
Проголосовал за него.

Мужчин только не парсит. Не подскажете, что поправить чтоб парсил?


20:09:36 "всего в поиске:2780
взяли: 0 "
20:09:38 отпарсили всех в этом регионе
20:09:38 ZennoPoster Проект C:\Users\Users\Documents\ZennoLab\Парсер фотографий с mamba.ru\v2\парс фото mamba (1).xmlz выполнен успешно!
Нажмите для раскрытия...
поправил :)
 

Вложения

  • Спасибо
Реакции: botovod, JurgenZolle и Aristarh
Спасибо за шаблон. А возможно скачивать не все фото с анкеты, а например только 1 фото?
 
87v написал(а):
Спасибо за шаблон. А возможно скачивать не все фото с анкеты, а например только 1 фото?
Нажмите для раскрытия...
ну конечно можно ))
ставь минимум фото 1 и в последнем кубике веди стрелку к "все скачали"
Screenshot_11.png
 
  • Спасибо
Реакции: 87v
что-то у меня на разных версиях ошибки сыплются
подскажите куда копать надо ?
upload_2018-10-8_0-32-48.png
 
Войдите или зарегистрируйтесь для ответа.

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)

Сверху Снизу