Avito
Теперь о важном. Мне была поставлена задача получать данные из определенного раздела , доски объявлений , обработка этих объявлений и синхронизация данных с сайтом клиента.
Проект на данный момент охватывает 6 городов , и собирает актуальную информацию по оренде недвижимости, собирает полную информацию по объявлению, телефон , фото , делает обрезку фото , и постит уже обработанную информацию на сайт клиента. Все работает на запросах , поэтому скорость высокая, на момент написания статьи скрипт на 1 город (2 категории) сверял 1500+ объектов, на актуальность и скорость работы составляла порядка 2,5 минут
Это при условии что работа производилась в 1 поток и в процессе парсинга происходит обработка контента и постинг на сайт клиента, без прокси , если использовать прокси , то скорость увеличивается пропорционально количеству прокси.
Проект на 6 городов по 2 категории каждый и на 15000+ объектов работает порядка 25 минут. Но как я выше писал если критична скорость то можно использовать прокси , для ускорения
Сама синхронизация происходит практически мгновенно так как вся работа идет напрямую с базой сайта. Неактуальные объявления удаляются (это пожелание клиента ) , на другом проекте объявления архивируются. В принципе всё гибко настраивается под потребности клиента.
Сейчас в разработке еще 2 проекта по недвижимости это Юла и Домофонд. Хотя можно обработать любой сайт!
Если вам необходим такого рода проект обращайтесь в
телеграмм.