Большое потребление ресурсов

[zombie]

Привет. Сделал несколько парсеров разных сайтов по структуре шаблона практически одинаковые. Флэш и прочее отключено. Картинки где можно тоже отключаются. Оперативки в постере стоит максимум 120 мб, но при старте шаблона инстанс забирает сразу 150~200мб и к концу кушает 600~700мб. Ресурсы процессора тоже заметно отбирает, хотя это не критично. Версия постера 4.5.0.2. Комп: процессор AMD A6-3650 4 ядра, 8 гб рама, win7x64. Думал, что дело в одном сайте, но на нескольких сайтах это видимо что-то в шаблоне я наворотил. Сам скрипт не длинный - за раз парсит ~ 50 страниц и завершает выполнение. Ни прокси, ни капча не используются. Сам уже не знаю что не так. Могу выслать в сапорт шаблон(ы).

 

[ZennoScript]

Большие циклы в любом случае будут забивать много памяти. 50 страниц - это не так уж и мало. Если есть возможность, лучше это всё разбить на более мелкие части. Если не нужна авторизация, то вообще лучше сделать, чтобы за 1 раз обращалось к одной странице, тогда немного уменьшится потребление.

 

[zombie]

У меня и циклов то особенно нет, стараюсь без них. На мелкие части не получиться, так как это совсем долго будет. У меня бот заходит на сайт, выбирает категорию и парсит 25 страниц из неё ( было 50 ), и каждый раз проверяет не превысило ли число 25. Если по одной, то уж очень долго будет + как я говорил при старте инстанс сразу кушает 200мб

 

[rostonix]

потребление оперативки смотрите по base.exe наверное.

В одной базе по умолчанию 5 потоков. если они все парсеры с циклами, то потребление ресурсов закономерно в принципе.

 

[zombie]

base.exe и ест оперативку. Стоит 1 поток на базу. Может ресурсы ест следующее: в начале цикла список (более 2000 строк ) объединяется в переменную, которую я парсю на совпадение и если нет, то открываю в новой вкладке страничку, с которой уже собираю контент. Может дело в этом ?