Парсер olx

G

Gimlimimli

Client
Регистрация
06.12.2017
Сообщения
19
Реакции
8
Баллы
3
Здравствуйте)
Название темы говорит само за себя.
Шаблон собирает данные с досок объявлений olx.ua olx.by olx.kz
Входные настройки простые
olx_setings.JPG

Проект больше для обучения и понимания процесса парсинга поэтому работает в один поток.
Шаблон не замысловатый, сильно не критикуйте - только учусь.

 
Номер конкурса шаблонов
  1. Первый конкурс шаблонов
Уровень сложности
Средний
Категория
  1. Парсинг

Вложения

  • olx.rar
    olx.rar
    56,3 KB · Просмотры: 1 241
  • Спасибо
Реакции: legion2k, timoxa949, nikone и 3 других
Нет возможности протестировать...
Сколько объявлений шаблон парсит в час?
 
За час проходит 500 страниц, это около 2000-3000 объявлений.
 
А Польшу можно в парсер добавить? Было бы великолепно! olx.pl
 
Поляки используют Рекапчу2(
 
А можно добавить что-бы шаб еще сохранял тексты обьяв и картинки в папку?
 
А что спарсить можно, телефоны, мейлы?
 
Шаблон не работает в чом проблема???
 
Сейчас OLX обновился. И ни одна программа сейчас не может спарсить через запросы. А через браузер, после нескольких запросов, блокируется возможность показывать телефон.
 
Apukhov написал(а):
Сейчас OLX обновился. И ни одна программа сейчас не может спарсить через запросы. А через браузер, после нескольких запросов, блокируется возможность показывать телефон.
Нажмите для раскрытия...
Поищите в рекламном разделе.
 
Уже заказал, но ОЛХ через небольшое количество спарсенных объявлений, блокирует возмоность нажатия кнопки "Показать номер". И через прокси и со сменой юзер агентов не помогает. Даже смена инстансов не помогает, при неудачных попытках. Разраб сейчас пытается это решить, но пока не получается.
 
Apukhov написал(а):
Уже заказал, но ОЛХ через небольшое количество спарсенных объявлений, блокирует возмоность нажатия кнопки "Показать номер". И через прокси и со сменой юзер агентов не помогает. Даже смена инстансов не помогает, при неудачных попытках. Разраб сейчас пытается это решить, но пока не получается.
Нажмите для раскрытия...
Не подскажите не изменилась ли ситуация в данный момент?
 
Dizingof написал(а):
Не подскажите не изменилась ли ситуация в данный момент?
Нажмите для раскрытия...
Мне сейчас написали на вебе с хорошей эмуляцией пользователя. Скорость не сильно высокая и бывает периодически временно банит IP. Помогает ВПН. На кворке заказал. Если нужно будет, могу дать контакты.
 
Apukhov написал(а):
Мне сейчас написали на вебе с хорошей эмуляцией пользователя. Скорость не сильно высокая и бывает периодически временно банит IP. Помогает ВПН. На кворке заказал. Если нужно будет, могу дать контакты.
Нажмите для раскрытия...
дайте контакт пожалуйста
 
Дайте пожалуйста мне тоже контакт
 
Войдите или зарегистрируйтесь для ответа.

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)

Сверху Снизу