- Регистрация
- 03.06.2016
- Сообщения
- 308
- Благодарностей
- 410
- Баллы
- 63
Есть задача парсить n1.ru
вот ссылка на прямую - http://chelyabinsk.n1.ru/search/?rubric=flats&is_newbuilding=true&district=1306611,1306612,1306613,1306614,1306615,1306616,1306617&rooms=1,2,3&rooms_min=4&view=table&limit=100&sort=-date
получается 25 000 объектов. В PM пишу проект, 1 страница (100 объектов) беру ссылки на объекты, после иду на след страницу. (получается 250 страниц). Но PM вырубается уже после 20 страницы видимо из за того что критично расходует память на серваке (так как там зашкаливает выше 1000). При парсинге отключил всё что можно - плагины, картинки css и т.д. Но это не помогло.
Подскажите, как правильно парсить что бы PM не увеличивало память.
Перезагрузка инстанса после каждой стр, тоже не помогает.
вот ссылка на прямую - http://chelyabinsk.n1.ru/search/?rubric=flats&is_newbuilding=true&district=1306611,1306612,1306613,1306614,1306615,1306616,1306617&rooms=1,2,3&rooms_min=4&view=table&limit=100&sort=-date
получается 25 000 объектов. В PM пишу проект, 1 страница (100 объектов) беру ссылки на объекты, после иду на след страницу. (получается 250 страниц). Но PM вырубается уже после 20 страницы видимо из за того что критично расходует память на серваке (так как там зашкаливает выше 1000). При парсинге отключил всё что можно - плагины, картинки css и т.д. Но это не помогло.
Подскажите, как правильно парсить что бы PM не увеличивало память.
Перезагрузка инстанса после каждой стр, тоже не помогает.
