PM вырубается, как правильно сделать парсер?

[ffeniks]

Есть задача парсить n1.ru

вот ссылка на прямую - http://chelyabinsk.n1.ru/search/?ru...3&rooms_min=4&view=table&limit=100&sort=-date

получается 25 000 объектов. В PM пишу проект, 1 страница (100 объектов) беру ссылки на объекты, после иду на след страницу. (получается 250 страниц). Но PM вырубается уже после 20 страницы видимо из за того что критично расходует память на серваке (так как там зашкаливает выше 1000). При парсинге отключил всё что можно - плагины, картинки css и т.д. Но это не помогло.

Подскажите, как правильно парсить что бы PM не увеличивало память.
Перезагрузка инстанса после каждой стр, тоже не помогает.

 

[AloneSlamer]

парси запросами

 

[VerBin]

Используй счетчик в файле или в глобальной переменной, это будет номером страницы.
Реализуй обработку одной страницы одним потоком и запусти проект в многопоточном режиме.