Приветствую, я скачал зеннопостер, сижу на дэмке пока что... тестирую, смотрю и т.д.
Понадобилось написать парсер. По скромным подсчетам нужно спарсить информацию с 30к страниц. Конечно, даже близко к этому числу постер не доходит. После примерно часу парсинга, зенно занимает больше 1 гб в оперативной памяти, виснет, а потом крашится.
Уже очищал куки, кеш (кстати если очистить куки, то процесс парсинга сбивается со стороны сайта.. меня тупо кидает обратно на стартовую страницу), уже даже очищал списки и переменные после каждых 100 спаршенных страниц, ничего из этого не помогло.
Читал на форуме, вы там всем советуете инстанс перезагружать (кстати говоря понятия не имею что это такое, а в справке я определения не увидел, может кто-то сможет мне объяснить что это?), но после того как у меня перезагружается инстанс, проект перемещается в "выполненные".
Может у кого-то была схожая проблема? Или просто может сможете дать мне какие-то советы\мысли как такое можно исправить? Спасибо.
Понадобилось написать парсер. По скромным подсчетам нужно спарсить информацию с 30к страниц. Конечно, даже близко к этому числу постер не доходит. После примерно часу парсинга, зенно занимает больше 1 гб в оперативной памяти, виснет, а потом крашится.
Уже очищал куки, кеш (кстати если очистить куки, то процесс парсинга сбивается со стороны сайта.. меня тупо кидает обратно на стартовую страницу), уже даже очищал списки и переменные после каждых 100 спаршенных страниц, ничего из этого не помогло.
Читал на форуме, вы там всем советуете инстанс перезагружать (кстати говоря понятия не имею что это такое, а в справке я определения не увидел, может кто-то сможет мне объяснить что это?), но после того как у меня перезагружается инстанс, проект перемещается в "выполненные".
Может у кого-то была схожая проблема? Или просто может сможете дать мне какие-то советы\мысли как такое можно исправить? Спасибо.