Вопрос по работе с памятью/кешем heap

[TwiTboT - AleXdeV]

Такой вопрос, есть социальная сеть, нужно спарсить подписчиков человека (не инста.) Сайт на JS, парсер отрабатывает отлично, в "дно" ленты идет хорошо, но столкнулся с проблемой, после 6к+ данных инстанс начинает весить 2гб+, и банально заканчивается память, а соответственно не подгружает страницу далее. На другой машине спарсило 30к+ данных, но опять все уперлось в память озу и вес инстанса. Замедление, остановка, перекур + отключение картинок и тд. тп не помогает. Есть ли метод сжать кеш, "перенаправить", очистить хлам...
Работа с Post/get не вариант

 

[Маломальский]

Вариант1
Очистить кеш, есть кубик или C#

instance.ClearCache();

Вариант 2
Посмотреть трафик, и поглядеть откуда там подтягивается контент, скорее всего ajax, будет видно урл и параметры, необходимые для подгрузки по навигации.

Вариант 3
Поиграться с настройками инстанса.

 

[TwiTboT - AleXdeV]

Вариант1
Очистить кеш, есть кубик или C#

instance.ClearCache();

Вариант 2
Посмотреть трафик, и поглядеть откуда там подтягивается контент, скорее всего ajax, будет видно урл и параметры, необходимые для подгрузки по навигации.

Вариант 3
Поиграться с настройками инстанса.

Вариант1 убивает весь кеш, и сайт останавливается, вот как раз по второму варианту заметил, что есть параметр "курсор", и он как раз при гет запросе выдает нужный результат. Может тоже кому то пригодиться. Третий вариант слабо проявил себя. Спс)