base.exe очень большой объем - проект виснет

[AlexEx]

Парсю информацию на сайте - 10 ссылок на каждой странице, переход по ссылкам по очереди, парсю мейл, закрываю. на странице седьмой base уже за 1 гб проект идет медленнее и потом вообще виснет.
что делать?
оперативы 8 гигов.

 

[Hungry Bulldozer]

Делайте перезагрузку инстанса через несколько навигейтов

 

[AlexEx]

Делайте перезагрузку инстанса через несколько навигейтов

можно по-русски? т.е. поподробнее! )

 

[Sergodjan]

можно по-русски? т.е. поподробнее! )

в начале шаблона вставьте экшен перезагрузки инстанса и посомтрите на эффект, скорее всего поможет..
если шаблон внутри зациклен на большое кол-во страниц парсинга, то внутри в цикле парсинга вставьте этот экшен..

 

[ZennoScript]

Мне так кажется, что там весь шаблон закольцован и работает до тех пор, пока помрёт.
Это частая ошибка новичков. Для повторений в зенке используются другие инструменты - Устанавливается количество сколько делать шаблон.
Избавътесь от всех ненужных циклов в шаблоне.
Т.е. везде, где по логике шаблон может закончится один раз и начаться сначала второй раз без потери данных ненужно создавать дополнительные циклы.

 

[AlexEx]

Мне так кажется, что там весь шаблон закольцован и работает до тех пор, пока помрёт.
Это частая ошибка новичков. Для повторений в зенке используются другие инструменты - Устанавливается количество сколько делать шаблон.
Избавътесь от всех ненужных циклов в шаблоне.
Т.е. везде, где по логике шаблон может закончится один раз и начаться сначала второй раз без потери данных ненужно создавать дополнительные циклы.

идет переход по страницами и данныt записываются в файл, т.е. если закрыть проект и начать его заново то придется заново начинать по страницам прыгать, я нашел выход сделав так: парсится информация с нескольких страниц потом сохраняется в файл урл страницы на которой закончился парс, далее проект закрывается сохранив данные и снова запускается и берется с файла урл на котором закончился проект. единственно плохо что если страницы заканчиваются то последняя страница парсится пока не закончатся попытки проекта (

 

[Sergodjan]

идет переход по страницами и данныt записываются в файл, т.е. если закрыть проект и начать его заново то придется заново начинать по страницам прыгать, я нашел выход сделав так: парсится информация с нескольких страниц потом сохраняется в файл урл страницы на которой закончился парс, далее проект закрывается сохранив данные и снова запускается и берется с файла урл на котором закончился проект. единственно плохо что если страницы заканчиваются то последняя страница парсится пока не закончатся попытки проекта (

в начале шаблона подсчитывай строки урлов для парсинга, если число строк не равно нулю, то идем дальше, если равно нулю, то выходим с сообщением: закончились урлы..

 

[AlexEx]

в начале шаблона подсчитывай строки урлов для парсинга, если число строк не равно нулю, то идем дальше, если равно нулю, то выходим с сообщением: закончились урлы..

на последней странице можеть быть несколько урлов и он их будет постоянно пересчитывать

 

[Sergodjan]

на последней странице можеть быть несколько урлов и он их будет постоянно пересчитывать

тогда завести глобальную переменную, туда впихивать счетчик строк урлов, если он не изменяется, то выходить из парсинга..

 

[AlexEx]

в начале шаблона подсчитывай строки урлов для парсинга, если число строк не равно нулю, то идем дальше, если равно нулю, то выходим с сообщением: закончились урлы..

на последней странице можеть быть несколько урлов и он их будет постоянно пересчитывать

 

[AlexEx]

Делайте перезагрузку инстанса через несколько навигейтов

после перезагрузки инстанса не лучше, открывает ссылку и висит

 

[AlexEx]

Делайте перезагрузку инстанса через несколько навигейтов

после перезагрузки инстанса не лучше, открывает ссылку и висит