Парсер olx

[Gimlimimli]

Здравствуйте)
Название темы говорит само за себя.
Шаблон собирает данные с досок объявлений olx.ua olx.by olx.kz
Входные настройки простые

Проект больше для обучения и понимания процесса парсинга поэтому работает в один поток.
Шаблон не замысловатый, сильно не критикуйте - только учусь.

 

[Ssmodey]

Нет возможности протестировать...
Сколько объявлений шаблон парсит в час?

 

[Gimlimimli]

За час проходит 500 страниц, это около 2000-3000 объявлений.

 

[Shtopor]

А Польшу можно в парсер добавить? Было бы великолепно! olx.pl

 

[Gimlimimli]

Поляки используют Рекапчу2(

 

[S-Max]

А можно добавить что-бы шаб еще сохранял тексты обьяв и картинки в папку?

 

[andrey-ka]

А что спарсить можно, телефоны, мейлы?

 

[Gimlimimli]

А что спарсить можно, телефоны, мейлы?

Телефоны, имена и все что отображается на странице, мейлов нет в открытом виде..

 

[ratislav1988]

Шаблон не работает в чом проблема???

 

[Mikhail B.]

Шаблон не работает в чом проблема???

Сайты иногда меняют верстку.

 

[Apukhov]

Сейчас OLX обновился. И ни одна программа сейчас не может спарсить через запросы. А через браузер, после нескольких запросов, блокируется возможность показывать телефон.

 

[Mikhail B.]

Сейчас OLX обновился. И ни одна программа сейчас не может спарсить через запросы. А через браузер, после нескольких запросов, блокируется возможность показывать телефон.

Поищите в рекламном разделе.

 

[Apukhov]

Поищите в рекламном разделе.

Уже писал всем. Пишут что сейчас пока не работает. Самому нужен.

 

[Mikhail B.]

Уже писал всем. Пишут что сейчас пока не работает. Самому нужен.

На вебе напишите простой временно, а как починят купите рабочий.

 

[Apukhov]

Уже заказал, но ОЛХ через небольшое количество спарсенных объявлений, блокирует возмоность нажатия кнопки "Показать номер". И через прокси и со сменой юзер агентов не помогает. Даже смена инстансов не помогает, при неудачных попытках. Разраб сейчас пытается это решить, но пока не получается.

 

[Dizingof]

Уже заказал, но ОЛХ через небольшое количество спарсенных объявлений, блокирует возмоность нажатия кнопки "Показать номер". И через прокси и со сменой юзер агентов не помогает. Даже смена инстансов не помогает, при неудачных попытках. Разраб сейчас пытается это решить, но пока не получается.

Не подскажите не изменилась ли ситуация в данный момент?

 

[Apukhov]

Не подскажите не изменилась ли ситуация в данный момент?

Мне сейчас написали на вебе с хорошей эмуляцией пользователя. Скорость не сильно высокая и бывает периодически временно банит IP. Помогает ВПН. На кворке заказал. Если нужно будет, могу дать контакты.

 

[maxxmann]

Мне сейчас написали на вебе с хорошей эмуляцией пользователя. Скорость не сильно высокая и бывает периодически временно банит IP. Помогает ВПН. На кворке заказал. Если нужно будет, могу дать контакты.

дайте контакт пожалуйста

 

[Apukhov]

дайте контакт пожалуйста

Ответил в ЛС.

 

[djbratislav]

Дайте пожалуйста мне тоже контакт

 

[Apukhov]

Дайте пожалуйста мне тоже контакт

Отписал в ЛС.

 

[Mikhail B.]

Уже писал всем. Пишут что сейчас пока не работает. Самому нужен.

Вот если актуально еще https://zennolab.com/discussion/threads/umnyj-parser-telefonov-s-olx-kz-na-zaprosax.79958/