Построенный парсер очень тяжёлый (GB Bandwidth)

[phelix]

20 Threads
Работал 2 суток
Потратил уже 50 GB

Уже убрал весь CSS, Images, Frames, и всё что можно было чтоб сайт оставался в рабочем состояние.
Поставил GET request в качестве прокси чека, но и там мизерный JSON страничка.

По instance preview вижу что мелькает один текст на белом листе - не понимаю, от куда столько гигабайтов скачивается.

Такой bandwidth дорого обходиться так как покупаю proxy pool.

Подскажите,
В какую сторону рыть, чтоб найти что можно убрать чтоб не скачивал такие большие объёмы?

Заранее благодарен за ответы,

 

[phelix]

UPDATE: Возникла идея которая сейчас находиться в стадий проверке.
У меня стоит "Clear Cache" функция. Её убрал чтоб сохранялся Cache.
Пробую...

Но, тут же есть вопрос: Zennoposter автоматически клирит кеш после Good/Bad end?

Раньше после пару часов глучило если ставил loop к началу вместо "Good End" (restart всё). Пробую снова...

 

[phelix]

UPDATE: Возникла идея которая сейчас находиться в стадий проверке.
У меня стоит "Clear Cache" функция. Её убрал чтоб сохранялся Cache.
Пробую...

Но, тут же есть вопрос: Zennoposter автоматически клирит кеш после Good/Bad end?

Раньше после пару часов глучило если ставил loop к началу вместо "Good End" (restart всё). Пробую снова...

5GB за ночь в место 8GB