Парсим вк

[AgentRassilok]

вообщем задаю такую строку
https://vk.com/friends?act=find&c[age_from]=20&c[age_to]=20&c[city]=1&c[country]=1&c[name]=1&c[per_page]=40&c[photo]=1&c[section]=people&c[sex]=1

как спарсить условно первые 50 к результатов? с вк дел не имел, надо разобраться

 

[СТЕПАН]

50к не спарсишь там ограничение было не более 1000

делаешь фокус на нижнем элементу, данные подгружаются

проверяешь высоту body если увеличилась повторяешь фокус и по кругу пока не перетсанет меняться значение высоты

затем регуляркой парсишь значения

примерно так

 

[izunag]

а тебе что конкретно нужно, ссылки на профили ?

 

[AgentRassilok]

а тебе что конкретно нужно, ссылки на профили ?

Ага

 

[AgentRassilok]

50к не спарсишь там ограничение было не более 1000

делаешь фокус на нижнем элементу, данные подгружаются

проверяешь высоту body если увеличилась повторяешь фокус и по кругу пока не перетсанет меняться значение высоты

затем регуляркой парсишь значения

примерно так

Спасибо а нету примера готового?

 

[izunag]

Ага

50к не спарсишь там ограничение было не более 1000

ajax отправляет запросы на /al_search.php со следующими параметрами,

al=1&al_ad=0&c[age_from]=20&c[age_to]=20&c[city]=1&c[country]=1&c[name]=1&c[photo]=1&c[section]=people&c[sex]=1&offset=40

возможно поэксперементировав с параметром offset что-то выйдет

 

[AgentRassilok]

ajax отправляет запросы на /al_search.php со следующими параметрами,

al=1&al_ad=0&c[age_from]=20&c[age_to]=20&c[city]=1&c[country]=1&c[name]=1&c[photo]=1&c[section]=people&c[sex]=1&offset=40

возможно поэксперементировав с параметром offset что-то выйдет

Проснусь щас тестану, есть еще идеи?

 

[izunag]

ну я так в бродилке проверил, то да ограничение на скрол есть.
Так что пока единственная рабочая идея ну или возможно апи вк позволяет больше

 

[ol1ver]

API не позволяет?

 

[izunag]

Так что пока единственная рабочая идея

4106266808806068540{"section":"people","has_more":false,"offset":1020,"qid":"","script":"cur.lang = extend(cur.lang || {}, []);"}
Доступны только первые 1000 результатов.
Уточните критерии поиска.

в общем не вариант

 

[Чешир]

API не позволяет?

там есть метод users.getFollowers
https://vk.com/dev/users.getFollowers
Т.е. подписчики. не знаю, чем от друзей отличаются.
Можно попробовать спарсить с доп.полями
Потом вычленить тех, кто нужен.
Всяко лучше чем через вэб-морду
ну, можно и через вэб-морду.
Можно и гланды через жопу удалить.
Было бы желание.... а исполнитель найдется

 

[AgentRassilok]

API не позволяет?

я не умею с апи работать пока

4106266808806068540{"section":"people","has_more":false,"offset":1020,"qid":"","script":"cur.lang = extend(cur.lang || {}, []);"}
Доступны только первые 1000 результатов.
Уточните критерии поиска.

в общем не вариант

буду по месяцам делать январь/февраль/март и сортировать в 12 столбцов таблицы либо 12 таблицы

там есть метод users.getFollowers
https://vk.com/dev/users.getFollowers
Т.е. подписчики. не знаю, чем от друзей отличаются.
Можно попробовать спарсить с доп.полями
Потом вычленить тех, кто нужен.
Всяко лучше чем через вэб-морду
ну, можно и через вэб-морду.
Можно и гланды через жопу удалить.
Было бы желание.... а исполнитель найдется

хочу сам разобраться

 

[Чешир]

что-то мене переклинило
Для друзей по апи есть метод
https://vk.com/dev/friends.get
берез 5 тыс. за один заход
50 тыс за минуту возьмет, если с паузами

 

[one]

что-то мене переклинило

В чем суть клина?

 

[Чешир]

В чем суть клина?

в том, что я в начале темы не тот метод указал

 

[AgentRassilok]

что-то мене переклинило
Для друзей по апи есть метод
https://vk.com/dev/friends.get
берез 5 тыс. за один заход
50 тыс за минуту возьмет, если с паузами

Это при поиске друзей?

 

[Чешир]

Это при поиске друзей?

да

 

[Чешир]

там еще плюсы у этого метода (как и вообще у апи) - без всяких доп.запросов, доп. полями можно выпарсить открыта ли личка, когда заходил в последний раз и с какого устройства (типа с айфона, айпада или браузер и т.д.)