Вопрос по парсингу my.mail.ru

[Sibirteh]

Здравствуйте дорогие форумчани х) Пишу щас свой первый проект парсер my.mail.ru и встал вопрос в ограничении количества пользователей которых можно спарсить с группы.
Пример: https://m.my.mail.ru/community/startuper_/friends?offset=200 а страница https://m.my.mail.ru/community/startuper_/friends?offset=201 уже не выдает данные, это можно как то обойти?

 

[Err0r]

у меня все отдает https://m.my.mail.ru/community/startuper_/friends?offset=260&sameFromAjax=1
offset увеличиваю на 20
Но больше 500 не получается скачать

 

[Sibirteh]

у меня все отдает https://m.my.mail.ru/community/startuper_/friends?offset=260&sameFromAjax=1
offset увеличиваю на 20
Но больше 500 не получается скачать

да я опечатался когда набивал ссылки максимальная https://m.my.mail.ru/community/startuper_/friends?offset=2000&sameFromAjax=1 а https://m.my.mail.ru/community/startuper_/friends?offset=2020&sameFromAjax=1 уже не парсит

 

[alexpost]

Если авторизоваться на сайте то выдаст 2к, если нет - 500. На данный момент это никак не обойти.

 

[Sibirteh]

Если авторизоваться на сайте то выдаст 2к, если нет - 500. На данный момент это никак не обойти.

А как действуют шабы которые продаются ?

 

[alexpost]

А как действуют шабы которые продаются ?

Уже не продаются

 

[TheBoss]

Если авторизоваться на сайте то выдаст 2к, если нет - 500. На данный момент это никак не обойти.

Перебором фамилий и имён. Далее удаляем дубликаты.

 

[alexpost]

Перебором фамилий и имён. Далее удаляем дубликаты.

да, как вариант. Он, наверное, больше подойдет для «поиска по людям», а не по участникам группы. Там критерии еще есть..

 

[Tronheym]

можно парсить не группы, а друзей..
т.е. берешь юзера с большим кол-вом друзей, парсишь друзей, потом парсишь друзей этих друзей... и т.д....
можно парсить лишь тех кто "Онлайн" - какая никакая но сортировка по степени "активности" юзера..

 

[alexpost]

можно парсить не группы, а друзей..
т.е. берешь юзера с большим кол-вом друзей, парсишь друзей, потом парсишь друзей этих друзей... и т.д....
можно парсить лишь тех кто "Онлайн" - какая никакая но сортировка по степени "активности" юзера..

На парсинг друзей такое же ограничение сейчас, как на группы