Умный парсер телефонов с OLX на запросах

[Alexmd]

Мощный инструмент для сбора целевой аудитории под рассылки и/или анализа рынка по конкретным продуктам в целом.

Поддержка 7 версий OLX разных стран: Болгария, Казахстан, Польша, Португалия, Румыния, Узбекистан, Украина.
olx.bg olx.kz olx.pl olx.pt olx.ro olx.ua olx.uz

Удобный и понятный интерфейс
Простота в использовании
Интерактивное меню
Гибкие настройки и разные режимы работы для самых разных целей
Обход лимита в 1000 объявлений
Усовершенствованные алгоритмы
Оптимизированный код
Долгожданный многопоток, очень быстрый парсинг (до 1000 телефонов в минуту)
Без использования браузера
Минимальная нагрузка на железо
Настраиваемый широкий спектр собираемой информации
Подробное руководство по использованию

Требуются расходники в виде прокси и аккаунтов. Аккаунты на тестах показали хорошую выживаемость(около 90-95%). Прокси подходят и самые недорогие пакетные, можно и шаред в 10 рук, но только не бесплатные. На мобильных, также, работать не будет.
Так как для возможности просматривать телефоны в объявлениях теперь нужна авторизация, в нем есть режим регистрации/авторизации аккаунтов для сохранения их в требуемом виде и возможности просматривать телефоны в объявлениях. Отдельное решение под автоматическую регистрацию будет выпущено позже, как отдельный инструмент.

Все выбранные для сбора данные складываются в .xlsx табличку. Пример полных доступных данных по ссылке ниже:

https://docs.google.com/spreadsheets/d/1fnXYlghNAojvzPb1KreEIdqf-KL1BP0xqDts7aFG70s/edit

Спойлер: Картинки

Спойлер: Видео демонстрация работы парсера

_______________________________________________________________________________________________________________________________________________________


Софт ушел в приват.

По ВСЕМ вопросам обращаться в ЛС

Не засоряйте тему постами, не касающимися опыта использования шаблона и не несущими смысловой нагрузки.



_______________________________________________________________________________________________________________________________________________________





​

 

[Apukhov]

Всем привет! Купил у данного автора парсер. Уже давно ищу хороший парсер, но после обновления ОЛХ все существующие варианты просто перестали работать, а авторы кормят завтраки, что обновят софт. Но уже прошло около года и никто нормальный вариант не реализовал, кроме данного автора. Уже пользуюсь несколько дней парсером и могу что-то рассказать о нем. Во входных настройках все по полочкам разложено и очень тонкая настройка категорий, можно отдельно на потоках подключать прокси и много другое. Скорость за время пользованием на моем домашнем IP около 800-1000 номеров в час в 1 поток(так как я собираю только номера), если подключать еще другие данные, думаю скорость не изменится, так как здесь, как я понял, новый способ парсинга. Также с данным автором уже работал и знаю его как компетентного в своем деле, всегда на связи, если появляются вопросы, всегда готов помочь. Плюс данный софт стоит совсем немного. И других рабочих вариантов на данный момент нет. Еще раз спасибо автору за шаблон!!!

 

[Alexmd]

Выявлена (ошибка) в самом API OLX(спасибо Алексею Apukhov), из-за которой парсер подвисал на некоторых фильтрах. Теперь парсер стал еще чуточку умнее и стабильнее, распознавая и обрабатывая эту незначительную оплошность разработчиков.

Очередной пример работы парсера:
_https://www.olx.kz/transport/legkovye-avtomobili/shymkent/
собирали только легковые автомобили, коих в данном фильтре на момент старта сбора было 1362 штуки
---> в отчете ровно столько же строк <---
Время сбора 1 час 16 минут.
Результат данного запуска прикреплен к посту для ознакомления.
Напоминаю, что парсер не требует прокси и сам обходит каптчу при ее появлении.

​

Эта небольшая база шикарно подойдет, например, для рассылки партнерских ссылок по автотоварам прямо на телефоны целевых клиентов.

Как это использовать?
В 2-х словах: выбираете оффер, предполагаете аудиторию, которой он может быть интересен, настраиваете парсер, получаете уникальную базу потенциальных клиентов(которые подав объявление и так уже сидят с телефоном в руке и ждут когда им позвонят, что гарантирует максимальный пробив), проводите эффективную рассылку -> профит.

 

[Alexmd]

По мере спроса шаблона у интересующихся, добавляются сборки шаблона под разные регионы.
Таким образом, на данный момент мы лучше всех умеем парсить olx.UA, olx.KZ, olx.UZ

Очередной пример работы парсера:
_https://www.olx.ua/hobbi-otdyh-i-sport/sport-otdyh/lvov/
--->вытащил категорию полностью, обойдя лимиты<---
11K+ объявлений в спокойном режиме без прокси и каптчи были обработаны чуть быстрее, чем за 11 часов в 1 поток

результирующий файл прикреплен к посту(в этот в сбор раз не включены все поля. По сути, всем нужны только телефоны, иногда с именами)
Но это не значит, что парсер разучился собирать и другие параметры.

Напоминаю! Никаких расходов на прокси и каптчи. Просто выбираем категорию и парсим телефоны бесплатно.
​

 

[Alexmd]

В парсере появились дополнительные возможности:

1. поиск объявлений по ключевому слову/фразе
с обходом лимита в 1000 объявлений и без

2. возможность указывать актуальность объявлений




* Все обновления бесплатные и одинаковы для сборок под все регионы.

Как выразился один из покупателей - это парсер "для чайников".
Как бы иронично это ни звучало, но именно доступность для людей с самым разным уровнем компьютерной подготовки является моей основной идеей в этой разработке.
Вся логика строится на том, чтобы, не в ущерб растущему функционалу, парсером с легкостью могла пользоваться даже 65-летняя учительница младших классов Валентина Вениаминовна,
решившая, вдруг на старости лет, заняться бизнесом на olx.

Планы на дальнейшее развитие функционала имеются. Также, поступают самые разные предложения от клиентов.
Например, это обновление полностью основано ваших просьбах.​

 

[Docent]

Здравствуйте. шаблон еще работоспособный? Цена не поменялась? Интересует olx.ua

 

[Alexmd]

Актуальная цена всегда в первом посте, контакты тоже. Новости и обновления далее в теме, которая для этого и создана, а, также, для отзывов(плохих/хороших). Не засоряйте, пожалуйста, ее подобными постами, иначе другим позже станет труднее находить ответы на свои вопросы. Добавил e-mail для связи в стартовом посте для тех, у кого нет телеграма и кто не может писать в личку на форуме. Если Вы отписали по контактам, но не последовало моментального ответа, значит я, как и всякий живой человек, возможно отошел от компьютера, но я обязательно Вам отвечу при первой же возможности.
С уважением.

 

[John Wick jr.]

возможно у Вас заказать сборку под .ro (Румынию)? функционал аналогичный.

 

[osobist]

Alexmd, подскажите, актуален ли Ваш парсер под UA, категория недвижимость аренда?
Если можете проверьте, интересует парсинг телефонов и ссылка.

 

[Alexmd]

Парсер актуален в том смысле, что он поддерживается.
Но совсем недавно, буквально на днях, подохло у всех все. Без авторизованного аккаунта посмотреть телефоны больше нельзя, по крайней мере, на подавляющем большинстве объявлений в любой из 7 стран, которые поддерживает моя разработка. К следующей неделе ожидается релиз обновленного парсера с новыми функциями, фишками, возможностью парсить 7 стран и, конечно же, решением вышеуказанной проблемы. Ведутся работы по поиску оптимального решения для всех, включая 65-летнюю учительницу младших классов Валентину Вениаминовну, а также тестирование и отладка нового функционала. Также, будет повышена цена. Обновление старым клиентам придет автоматически.
Не хотелось делать анонсов обновления, а обновить всех уже по факту в одно прекрасное утро, но раз такой компот... В общем, скоро тут появится единственный в своем роде парсер olx на сегодняшний день.
Следите за темой.

 

[Alexmd]

Не хотелось делать анонсов обновления, а обновить всех уже по факту в одно прекрасное утро, но раз такой компот... В общем, скоро тут появится единственный в своем роде парсер olx на сегодняшний день.

Этот день настал. Актуальная информация по парсеру в первом посте. Всех купивших ранее обновил до новой версии бесплатно. Нужно только перезапустить ZennoPoster/ZennoBox. Инструкции и оповещения всем скину завтра.

 

[clever]

Купил данный парсер ещё до обновления. Все никак руки не доходили до отзыва.

Отличная вещь в своем сегменте. На данный момент единственная работающая. Понятные интуитивные настройки делают процесс оч комфортным, а скорость вне всяких похвал.
Убирает дубли. Не надо тратить время на чистку таблицы.

В общем я оч доволен. Спасибо разрабу за софт. Дальнейших успехов в проектах!

 

[Alexmd]

Время отведенное на тестирование обновленного парсера из-за крупнейшего и злейшего за все годы обновления OLX успешно подходит к концу.
Цена бесповоротно изменится в большую сторону. Осталось 2 дня!

 

[Doctor_vikodin]

Хочу оставить отзыв о пользовании данного парсера. Все свои заявленные функции оправдывает на все 100%. Впечатления от работы с парсером только положительные.

Плюсы:
1. Возможность парсить все, что есть на странице объявления и даже то, чего нет.
2. Высокая скорость парсинга. У меня на достаточно среднем устройства получается около 10 000 объявлений в час (4 ядерный процессор).
3. Низкая загрузка ресурсов ПК (во время работы у меня потребляет примерно 1 гб оперативной памяти и 20-30 процентов процессора).
4. До начала самого парсинга можно отсеять объявления от одного автора, что очень полезно в условиях лимитов количества просмотров с одного аккаунта.
5. Более всего порадовало, что автор всегда на связи, в начале помогает разобраться и отвечает на "тупые" вопросы. Также за время моего пользования парсером автор добавил достаточно много поправок в парсеру, бесплатно и без вопросов.

Минусы:
1. Лично для меня больших минусов нет так как давно работаю с сайтами олх и за все время этот парсер лучшее из всего, что я видел поэтому однозначно рекомендую к покупке тем кто еще колеблется.

Пожелания:
1. Добавить бесплатно в комплект к парсеру некоторое количество аккаунтов для парсинга (шт. 10 думаю будет достаточно) и возможно пару прокси (хз может это и слишком).
2. По возможности добавить способ автоматической регистрации аккаунтов.

 

[Leg]

Спасибо таким людям как Алекс, в первую очередь за честность и описание продукта = реальности.

Скорость работы супер, вариации работы под любые нужды.

Помог с установкой и первым запуском, были вопросы отвечал очень быстро. Респект данному человеку



Софт полностью работает так же как в описании, нет подводных камней и увилок.
Рекомендую к сотрудничеству не пожалеете

 

[sar-kel]

На данный момент это единственное решение, которое есть на рынке. Большое спасибо! Два месяца назад мой старый парсер накрылся, искал решение, где только мог. Все программисты просто разводили руками. Когда получил предложение по этому парсеру, тоже скептически отнесся, думал что парсить олх теперь вообще не будет возможности и мои проекты просто накрывались потихоньку. Был в отчаянии...

Но не тут то было. Команда Алекса не просто впарила продукт, но и помогла со всеми вопросами. Главное, что меня беспокоило, пойдет ли на маке. Пришлось поставить симулятор винды, но парсер работает - и это самое главное. Помогли и подсказали со всеми вопросами. При чем собирает большие базы этот парсер намного лучше, чем мой предыдущий, за который я каждые полгода платил по 1500-2000 грн, т.к. программист брал деньги за каждый новый обход запретов олх. Короче, я очень доволен. Всем советую! Навсегда клиент этого продукта!

 

[Coleroot]

Очень крутой парсер, всем рекомендую!!!!

Очень понравилось что парсер обходит ограничение олх и то что не только по ссылкам можно парсит а можно выбрать не посредственно в парсере регион, город и категорию которую хочу спарсить.

Разработчику тоже респект, всегда все объяснит если что-то не понять.

 

[iskrakovrov]

Все работает. Обновляется. Борьба с ОЛХ идет полным ходом.
Парсер работает. Разработчик на связи и подсказывает и помогает.
Был момент, когда ОЛХ поменял правила полностью - программа обновилась, пути обхода разработчик нашел. И снова все работает.

Рекомендую. Разработчику спасибо!

 

[Open user]

Чтобы пользоваться программой нужно зенопостер покупать?

 

[Alexmd]

Чтобы пользоваться программой нужно зенопостер покупать?

Вовсе нет.

 

[Arcane]

Добрый день! А как без постера?

 

[Alexmd]

Добрый день! А как без постера?

Лицензия предполагает выписку через личный кабинет. А это уже включено в цену.
В случае "без постера" парсер будет выписан на ZennoBox. https://zenno.pro/chto-takoe-zennobox/

 

[Arcane]

Лицензия предполагает выписку через личный кабинет. А это уже включено в цену.
В случае "без постера" парсер будет выписан на ZennoBox. http://zenno.pro/chto-takoe-zennobox/
Ссылка не рабочая.

 

[Alexmd]

Состоялось крупное обновление парсера.
Добавлена возможность парсить разные языковые версии СНГ-шных OLX.
Оптимизированы некоторые участки кода, дающие теперь значительный прирост в производительности.

Также, теперь для клиентов, нуждающихся в больших объемах аккаунтов для парсинга телефонов, доступен автоматический регистратор аккаунтов.
Отдельной темы по регистратору не будет, все подробности по нему в личке и исключительно для обладателей лицензии на парсер.

Напоминаю, что актуальные контакты в стартпосте и они кликабельны. Переходите по ним, чтобы не напороться на мошенников.

 

[INova]

Состоялось крупное обновление парсера.

Парсер актуален? Написал в телегу и почту. Вот жду.

 

[Apukhov]

Парсер актуален? Написал в телегу и почту. Вот жду.

У меня работает. Единственное, что сейчас не получается регистрировать аккаунты на бесплатные почты. Рега идет только через номер телефона или привязка аккаунта Фейсбука.

 

[INova]

У меня работает. Единственное, что сейчас не получается регистрировать аккаунты на бесплатные почты. Рега идет только через номер телефона или привязка аккаунта Фейсбука.

Есть прямой выход на автора?

 

[Apukhov]

Есть прямой выход на автора?

Общался только в телеге, которая указана в контактах. 1-2 недели назад отвечал, но с задержкой.

 

[Alexmd]

Прошу прощения, если кто-то остался без ответа. Сейчас с онлайном трудно. Парсер работает, люди пользуются и не жалуются. Продублируйте своё обращение, так как оно запросто могло затеряться среди прочих неотвеченных.

 

[Alexmd]

Ну, что.. Как всегда, всякие неприятности случаются в самый неподходящий момент.
Сегодня настал тот день, когда OLX обновился так, что задело и мой парсер. На данный момент работают абсолютно все его функции кроме самой главной, а именно, запроса номера телефона. (Танцуют те, кто брал парсер не для этой цели а их было, как минимум пятеро на моей памяти)

Что же произошло?
Решение сегодня уже фактически найдено, но на тестирование, внедрение и опять тестирование уйдет достаточно много времени.
По сути, добавился еще один токен в заголовках, но очень своенравный, который не так уж и просто заполучить, а получать его надо будет для каждого телефона..
Раньше мы пользовались лишь одним токеном и паршивыми проксями. Но сегодня это уже набор из десятка важных параметров и цена получения номера теперь не один запрос, а 5.
В связи с этим парсер должен быть перекроен и основательно изменен внутри.
Напрашивалась новая логика работы с аккаунтами, которая теперь должна быть тщательно продумана и, все-таки, осуществлена, иначе просто никак.
К тому же, хочется вернуть заявленные скорости, которые они нам постепенно поджимали весь год. Очень постараюсь.

Когда ждать?

По сути, это будет новый продукт в старой оболочке.
Все вышеперечисленные работы затянутся минимум на несколько недель.

Когда они вынудили нас использовать аккаунты для парсинга и выставили на них лимиты тоже ждали около 2-х месяцев, помните? С тех пор подавляющее большинство парсеров-конкурентов не завелись.
А наш был, есть и будет лучшим парсером OLX еще на долгое время.

Прошу всех запастись терпением и следить за новостями в этой теме.