Всем привет! Есть проблема с утечкой памяти (уже порядком достала) при парсинге с сайта auto_ru. Утечки не наблюдается на других сайтах. Переделывал шаблон кучу раз толку нет. Отключал фото, флеш и вообще все что можно, по совету Rostonix, ставил перезагрузку инстанса экшеном (через каждые 40, 30, 20, 10, 5 страниц) не помогло, делал сохранение результатов не в таблицу, а в бд на сервере, толку ноль. Буквально через 10-15 минут pm или zennoposter разрастаются в памяти от 1,5 до 3,5 гиг. При чем когда память начинает забиваться, auto_ru начинает отдавать не тот контент. К примеру на странице с acura-объявлениями, мелькают toyota, honda, mercedes и другие марки. Не пойму почему. Есть идеи по этому поводу?
Утечка памяти
- Автор темы Quadrollionaire
- Дата начала
Отключил js только что, даже выбор марки вне списка который приведен изначально не происходит, видимо ajax-ом грузят доп инфу.
Придумал кое-что, попробую сейчас. Если заработает - отпишусь.
В общем, отключал Js и вообще все. Толку не особо много, медленней, но растет жор и в итоге вылетает. Очистку кешэ делал при каждой загрузке страницы. Не работают эти все методы) Никто не парсил инфу с auto.ru?)
KirillOFF
Client
- Регистрация
- 18.12.2010
- Сообщения
- 1 127
- Благодарностей
- 517
- Баллы
- 113