виснет парсер

[ogogo]

привет. написал простой парсер. имеем текстовик со ссылками, записанными построчно. парсер берет строку-ссылку с удалением, загружает ее в браузере, выдерает через regexp нужный текст из DOM'а и кладет в файл. все происходит в цикле (кол-во повторений зависит от кол-ва строк-урлов). проблема состоит в том, что зенно на определенном шаге тупо виснет и ниче не парсит. подскажите причины и возможное решение проблемы.
P.S. давным-давно когда была 3ья версия зенно, был такой же парсер и парсил без проблем. более 1000 урлов-страниц грузил поочереди и не зависал.

 

[qzen4i]

привет. написал простой парсер. имеем текстовик со ссылками, записанными построчно. парсер берет строку-ссылку с удалением, загружает ее в браузере, выдерает через regexp нужный текст из DOM'а и кладет в файл. все происходит в цикле (кол-во повторений зависит от кол-ва строк-урлов). проблема состоит в том, что зенно на определенном шаге тупо виснет и ниче не парсит. подскажите причины и возможное решение проблемы.
P.S. давным-давно когда была 3ья версия зенно, был такой же парсер и парсил без проблем. более 1000 урлов-страниц грузил поочереди и не зависал.

Попробуйте сделать перезагрузку инстанса через некоторое количество парса, если не ошибаюсь, то про зависание инстанса и т.д много раз обсуждалась в форуме.

 

[ogogo]

ставил перезагрузку инстанса через каждое действие цикла - все мимо

 

[rostonix]

Что мимо?

 

[ogogo]

виснет все равно

 

[rostonix]

Сайт не в подгрузкой контента со скроллом? Просто обычная страница как эта страница форума?

 

[Solus]

Может стоит без цикла обойтись? 1 запуск - взял ссылку, перешел, спарсил, записал, закончил. так не лучше будет? Думаю "вис" шаблона точно пропадет.

 

[Juniorcpa]

Было бы проще, если бы ТС выложил проект с готовыми входными настройками уже. Каждый бы глянул и оценил проблему, может быть решил бы её.