Обход ограничений поисковой выдачи VK

[JanCarlo]

Ребят, подскажите пожалуйста, очень надо!

Как обойти ограничение в поиске ВК?

К примеру ищу всех женщин с определенными интересами - вк пишет что найдено десятки тысяч результатов. А на самой странице, если ее полностью проскроллить вниз - всего 1000 результатов. Get запросом вроде тоже самое выдает.

Как собрать все эти десятки тысяч?
Можно в лс если что

 

[4iloveg]

А по апи что какие там лимиты?

 

[evgen_po]

А по апи что какие там лимиты?

По апи такие же самые лимиты - первая тысяча результатов.

Ребят, подскажите пожалуйста, очень надо!

Как обойти ограничение в поиске ВК?

К примеру ищу всех женщин с определенными интересами - вк пишет что найдено десятки тысяч результатов. А на самой странице, если ее полностью проскроллить вниз - всего 1000 результатов. Get запросом вроде тоже самое выдает.

Как собрать все эти десятки тысяч?
Можно в лс если что

Обойти это по сути нельзя. Нужно просто разбивать запросы. Т.е. искать по Именам, по Фамилии, по дате рождения, по другим критериям поиска. И парсить каждый результат - после чего удалять дубли.

 

[JanCarlo]

По апи такие же самые лимиты - первая тысяча результатов.

Обойти это по сути нельзя. Нужно просто разбивать запросы. Т.е. искать по Именам, по Фамилии, по дате рождения, по другим критериям поиска. И парсить каждый результат - после чего удалять дубли.

ну вот это я первое сразу что подумал, но это крайне сложно получается, вернее громоздко а не сложно. мне надо все к примеру 40к человек собрать, а выходит это больше 40 комбинаций.

 

[evgen_po]

ну вот это я первое сразу что подумал, но это крайне сложно получается, вернее громоздко а не сложно. мне надо все к примеру 40к человек собрать, а выходит это больше 40 комбинаций.

Такой вопрос подымался на форуме не один раз. Решение всегда одно - разбивать запросы. Другого пути найти не удалось. Что через АПИ, что гет-пост запросами, что через браузер - лимит выдачи 1000 по одному запросу.
Получается нужно только разбивать запросы.

 

[Alexmd]

По апи можно выдернуть всех и вся, зациклив offset.

 

[evgen_po]

По апи можно выдернуть всех и вся, зациклив offset.

Вы ошибаетесь, даже через АПИ, используя параметр offset - Вы получите только первую 1000 результатов. Не вводите людей в заблуждение.

https://vk.com/dev/users.search

http://joxi.ru/MAjGw87FjdELVr

Тут вообще offset использовать не нужно, т.к. одним запросом можно получить сразу 1000, а дальше не выдается, можете сами проверить.

 

[heks]

пришли какой город и какие параметры нужно вытянуть помогу

 

[one]

Попрбовать по возрасту разбить.

 

[JanCarlo]

Первую проблему решил)))

Подскажите пожалуйста, подходят ли для вк ipv6 прокси? И кто где покупает акки подскажите пожалуйста?

 

[one]

Первую проблему решил)))

Как?

 

[JanCarlo]

Как?

Сортировка и комбинирование. У меня аудитория узкоспециализированная, по этому не сложно было, по каждому запросу меньше тысячи выдает.

Вот теперь по ним спам хочу сделать в рамках правил вк, до 20 сообщений с аккаунта.

Как?

 

[JanCarlo]

Че то заглючило

 

[JanCarlo]

Господа, а кто как избегает банов во время отправки в лс?

Прикупил акков, повесил на них разные прокси, сделал большой спинтакс сообщения, сделал рандомную ссылку на оффер. Через вечер все акки в бане. К каждому живому обращался по имени.
Единственный ньюанс, токены для всех акков получал от одного приложения.

Может кто что посоветовать?

 

[kolina]

Вы ошибаетесь, даже через АПИ, используя параметр offset - Вы получите только первую 1000 результатов. Не вводите людей в заблуждение.

https://vk.com/dev/users.search

http://joxi.ru/MAjGw87FjdELVr

Тут вообще offset использовать не нужно, т.к. одним запросом можно получить сразу 1000, а дальше не выдается, можете сами проверить.

evgen_po

Даже ручками, открывается для просмотра только 1000 результатов. Как вариант для себя использую так. Нахожу сообщества в необходимом регионе. А с сообществ ограничения нет. Вчера 12 000 спарсил.
Порядок действий: составить список необходимых групп VK, спарсить всех участников этих групп в список, удалить дубли, в EXELе подправить ссылки(в необходимом виде не получилось) до нужного формата. И потом с этим списком работаю.

 

[Spikers07]

При работе с Api offset не поможет.

Обратите внимание — даже при использовании параметра offset для получения информации доступны только первые 1000 результатов.

Единственный вариант разбить запрос на несколько частей, например 12 месяцев, подставляя на каждый запрос +1 в обработку переменных.

Господа, а кто как избегает банов во время отправки в лс?

Прикупил акков, повесил на них разные прокси, сделал большой спинтакс сообщения, сделал рандомную ссылку на оффер. Через вечер все акки в бане. К каждому живому обращался по имени.
Единственный ньюанс, токены для всех акков получал от одного приложения.

1. Прокси (Очень важный параметр. За 7 лет работы учёл одну вещь, что скупой платит дважды. Либо бери мобильные, либо качественные = дорогие, не ведись на дешевые сервисы)
2. Рандомизирование это хорошо, но не забывай о стоп словах.
3. В любом виде использование ссылки увеличивает внимание к твоей анкете на очень большое число.
4. Токен получай от официального приложения (андроид). Ибо ты сливаешься с 70% аудиторией при работе с Вк.
5. Попробуй не в первом сообщении отправлять ссылку, а например в 3 или 6. Это называется последовательные сообщения.

 

[DrunkDeath]

Как это offset не поможет? Всё он нормально работает. Используется offset и count и на каждый запрос счётчик offset увеличивается на число count, тем самым смещая результат поиска.

 

[kolina]

Как это offset не поможет? Всё он нормально работает. Используется offset и count и на каждый запрос счётчик offset увеличивается на число count, тем самым смещая результат поиска.

Он смещается только до 999 участников. Если парсить всю группу целиком, то я вчера спарсил 12 000, но если парсить не всех а выбрать в поиске например "город"? то опускается только до 999

 

[zortexx]

Он смещается только до 999 участников. Если парсить всю группу целиком, то я вчера спарсил 12 000, но если парсить не всех а выбрать в поиске например "город"? то опускается только до 999

И это логично.
Проще парсить группы через execute.

 

[Rk61]

Чтоб получить большУю выдачу - нужно самому сделать базу.

Сначала парсим всех людей или все группы по id, начиная с первого, заканчивая последним.
Далее для каждого из них подгружаете нужные для вас данные по аккаунту\группе.
А потом уже из этой, созданной вами базы, делаете выборку по параметрам.

Таким образом ограничений не будет.

Минусы:
- долго собирать базу
- большой объём базы
- изменения аккаунтов не в режиме онлайн, периодически придётся обновлять базу

 

[Alexmd]

Перепроверил у себя - при смещении на 990 выдает всего 10 результатов. В принципе, для моей задачи это было не критично, у меня offset на сайте установлен 20 и 50 страниц за глаза хватает посетителям. Я был почему-то уверен, что так можно всех посмотреть.
Прошу прощения за заведомо неверный совет. Тоже стало интересно, как обойти это ограничение.

 

[Rk61]

Перепроверил у себя - при смещении на 990 выдает всего 10 результатов. В принципе, для моей задачи это было не критично, у меня offset на сайте установлен 20 и 50 страниц за глаза хватает посетителям. Я был почему-то уверен, что так можно всех посмотреть.
Прошу прощения за заведомо неверный совет. Тоже стало интересно, как обойти это ограничение.

Обхода ограничения как такового не существует.
Есть несколько вариантов:
- Выкачивание всей базы пользователей\сообществ и поиск по ним своим скриптом
- Парсить сайты, которые уже за тебя выгрузили всю базу пользователей\сообществ
- Узкая сегментация для получения большего кол-ва целевых пользователей\сообществ (удобно использовать в вк апи метод экзекут, которым брать по целевому запросу до 25 сегментов)

Других вариантов не вижу и не использовал, если у кого-то есть практические советы - поделитесь)

 

[zortexx]

1. Определяем нашу ЦА;
2. Находим в выдаче милионники и городские/тематические группы;
3. Парсим всех участников групп используя метод execute;
   Спойлер: Execute result

   
4. Чистим полученный список от собак (на больших объемах выгоднее чистить сразу, но с объемом менее миллиона, можно делать это попутно);
   Спойлер: Execute result

   
5. Складываем полученные данные в базу, например, MySQL и...
6. Profit.

Полагаю, ни для кого не секрет, что даже используя куцый функционал интерфейса phpMyAdmin можно вытащить из базы очень много интересных, скажем так, совпадений ))

 

[socsecret.ru]

Если есть знатоки ВКонтакте, подскажите пожалуйста такой момент. Я создаю шаблон, который собирает id всех пользователей, найденных в поиске. Т.е. хочу, чтобы обходилось ограничение выдачи в поиске (1000 человек). Делаю это путём указания даты рождения. К примеру, вот такие параметры поиска https://vk.com/search?c[per_page]=40&c[q]=Алкаш&c[section]=people - найдено 2197 человек. Но если указать День рождения один за одним, каждый из 31 дня, то в сумме получается 1230 человек. Как так? Вроде ж невозможно в ВК не указывать дату рождения? Может ещё какой-то способ есть обхода ограничения выдачи?

 

[Spikers07]

Возможно просто некоторые указали только год рождения, а день скрыли)

 

[socsecret.ru]

Возможно просто некоторые указали только год рождения, а день скрыли)

Нет, скрытие вообще не при чём. Скрытие лишь визуально убирает дату со странички, но в поиске аккаунт все равно находится.

 

[Spikers07]

Нет, скрытие вообще не при чём. Скрытие лишь визуально убирает дату со странички, но в поиске аккаунт все равно находится.

Не забывайте про закрытые профили)

 

[socsecret.ru]

Не забывайте про закрытые профили)

Что именно это означает? Заблокированные, или удалённые по собственному желанию, или еще что?

 

[socsecret.ru]

На счёт поиска людей через API, муть какая-то.
К примеру, я задаю вот такой запрос обычным поиском https://vk.com/search?c[city]=27&c[country]=1&c[per_page]=40&c[q]=робот&c[section]=people - находится 2 человека с именами Робот Пузо и Бендер Робот. Но при этом на панели разработчика (или не знаю как это правильней назвать) https://vk.com/dev/users.search?params[q]=робот&params[count]=1000&params[city]=27&params[country]=1&params[online]=0&params[has_photo]=0&params[v]=5.103 если задать те же самые параметры поиска, то находится всего лишь один человек с именем Робот Пузо. Куда же исчез второй человек??? Почему он не отображается в ответе? При этом в счётчике найденных людей он указан: "count": 2

 

[stmult]

Такой вопрос подымался на форуме не один раз. Решение всегда одно - разбивать запросы. Другого пути найти не удалось. Что через АПИ, что гет-пост запросами, что через браузер - лимит выдачи 1000 по одному запросу.
Получается нужно только разбивать запросы.

Просто так разбить тоже не всегда эффективно, так как примерно после 100-го запроса, вк наложит ограничения и будет выдавать пустой результат. Придется либо ждать, пока снимуть ограничение, либо паузы большие ставить. Причем ограничение будет даже если слать запросы по одному, без execute. То же самое будет, если делать через песочницу. В итоге если парсинг включает больше 80-100 запросов, тогда нужно искать другие варианты.