Вопрос по парсингу

[zombie]

Здравия желаю, уважаемые форумчане!

Как поступить если надо спарсить 100 000 пользователей там, где они подргужаются скроллом (все крупные соц. сети). Проблемы:

1. Если долго скроллить, то браузер начинает тормозить. Потом сам Зенно. Потом все медленее и медленее идёт работа. В конце так вообще практически тормоз.
2. Разделять работу не получиться, т.к. каждый раз скроллить нужно заново.

Не знаю как у вас, а у меня парсяться ОД 1000 человек 25 минут при алгоритме: сначала скроллим до конца страницу, потом берём код страницы и собираем все ссылки регуляркой (регулярка не запредельная).

Вот такой вопрос. раньше получалось избегать, но сейчас всё чаще и чаще.

 

[rostonix]

Это более чем естественное следствие работы с такой страницей. Откройте обычный браузер и попробуйте проскроллить.
100000 спарсить нереально таким способом. И все рно или поздно зависнет намертво(

 

[Wide]

css и картинки отключать. а вообще с такими запросами, нужно оперативы докуя имхо))

 

[rostonix]

css и картинки отключать. а вообще с такими запросами, нужно оперативы докуя имхо))

да все равно тормозить будет и умрет(

 

[zombie]

В Хроме скроллил на прикол до 5к пока сам не лопнул - всё норм, никаких тормозов.
А вообще 100 000 дохрена конечно, но в Зенно и 5к осилить практически нереально.

css и картинки отключать

не особо поможет, а на некоторых сайтах и скролл перестаёт работать.

 

[NoN]

возможно, как-то можно удалять уже спарсившие акки через javascript (как тут, на 4 шаге) и дальше скроллить не нагружая браузер большим количеством не нужных ссылок и текста.

 

[Lexicon]

использовать возможности дополнительной фильтрации а потом все что спарсилось уже проверять на дубли и оставлять уникальные