Бесконечный скроллинг браузера с мин. затратами памяти

[Radzhab]

Допустим есть инстграмм акк. Хочу вытащить всех фолловеров коих будет 1 миллион. Делаю скроллинг в принципе можно спарсить все, однако хотелось бы узнать можно ли как то сделать чтобы меньше памяти и быстрее это проходило. В принципе вместо инсты может быть и facebook, vk и т.д. Т.е. соцсети где есть большой скроллинг

 

[ssXXXss]

при скролинге тоже задаётся что ты номера страниц как будто листаешь, покрайней мере я так парсил пользователей гетом без определения страниц ну когда в снифере посмотрел то они отличались от скролинга

P.S. так же скролинг бесконечный был

 

[masterLomaster]

...можно ли как то сделать чтобы меньше памяти и быстрее это проходило.

как это себе вообще представить?
когда ты скролиш данные подгружаются, поэтому когда ты доскролишь до миллиона то инстанс уже к тому времени зависнет так как ему уже нужна будет перезагрузка)))

 

[Radzhab]

как это себе вообще представить?
когда ты скролиш данные подгружаются, поэтому когда ты доскролишь до миллиона то инстанс уже к тому времени зависнет так как ему уже нужна будет перезагрузка)))

Ну так мало ли мб разрабы добавят такую фичу - держать в кеше нижнюю часть скролла

 

[ssXXXss]

а для чего так мучать комп
пример, скролинг бесконечный и фото подгружается только при скролинге, но делая гет запрос паралельный все пользователи за минуту в файле

 

[masterLomaster]

Ну так мало ли мб разрабы добавят такую фичу - держать в кеше нижнюю часть скролла

ага и ппотом все в многопотоке запустить!
и ждать на форуме 100500 постов что зенка зависла!

 

[masterLomaster]

а для чего так мучать комп
пример, скролинг бесконечный и фото подгружается только при скролинге, но делая гет запрос паралельный все пользователи за минуту в файле

Посмотреть вложение 16447

Посмотреть вложение 16448

зачем вообще тогда скролить, когда можно с генерировать № страниц и гетами все забрать?

 

[ssXXXss]

зачем вообще тогда скролить, когда можно с генерировать № страниц и гетами все забрать?

незнаю для чего люди скролят и вообще браузер используют, есть конечно трудновыполнимые работы для гетов но читая всё время про скролинг удивляюсь

 

[masterLomaster]

незнаю для чего люди скролят и вообще браузер используют, есть конечно трудновыполнимые работы для гетов но читая всё время про скролинг удивляюсь

а может ему нравится смотреть что там прокручивается? )))

 

[amyboose]

Хз аяксом все время загружаю до что нужно, тем более даже если на странице какие-то палящие js (ну или js, без которого не получишь данные), то страницу можно грузануть со всякими эмуляциями и потом просто через ajax выпарсить все остальное