Парсер с каждой новой страницей медленнее работает

[Kotomorons]

Добрый день. Подскажите, пожалуйста, как решить проблему. Необходимо спарсить результаты поискового запроса, шаблон элементарный: задает условие, парсит страницу, переходит на следующую и так сотни-тысячи раз. Первые десятки страниц парсятся моментально, но потом с каждым новым проходом начинает подтормаживать, а потом дико тормозит. Шаблон прекратить не могу, ибо результаты будут с нуля. Что делать?!

 

[doc]

post get. Или продумывать логику так, чтобы парсить порциями, и след запуск начинался с места окончания парсинга предыдущего

 

[Sergodjan]

Добрый день. Подскажите, пожалуйста, как решить проблему. Необходимо спарсить результаты поискового запроса, шаблон элементарный: задает условие, парсит страницу, переходит на следующую и так сотни-тысячи раз. Первые десятки страниц парсятся моментально, но потом с каждым новым проходом начинает подтормаживать, а потом дико тормозит. Шаблон прекратить не могу, ибо результаты будут с нуля. Что делать?!

после десятков страниц нужно сохранить урл последней страницы в переменную и идти на экшен перезагрузки инстанса, делать навигейт на сохраненный урл и так регулярно..
память будет освобождаться и шаблон будет работать быстро..

 

[Sergodjan]

потерто..

 

[VladZen]

Нужно чистить кэш браузера и делать перезагрузку инстанса периодически.