Обход ограничений поисковой выдачи VK

4iloveg · 18.07.2019

А по апи что какие там лимиты?

evgen_po · 18.07.2019

4iloveg сказал(а):
А по апи что какие там лимиты?

По апи такие же самые лимиты - первая тысяча результатов.

JanCarlo сказал(а):
Ребят, подскажите пожалуйста, очень надо!

Как обойти ограничение в поиске ВК?

К примеру ищу всех женщин с определенными интересами - вк пишет что найдено десятки тысяч результатов. А на самой странице, если ее полностью проскроллить вниз - всего 1000 результатов. Get запросом вроде тоже самое выдает.

Как собрать все эти десятки тысяч?
Можно в лс если что

Обойти это по сути нельзя. Нужно просто разбивать запросы. Т.е. искать по Именам, по Фамилии, по дате рождения, по другим критериям поиска. И парсить каждый результат - после чего удалять дубли.

evgen_po · 18.07.2019

JanCarlo сказал(а):
ну вот это я первое сразу что подумал, но это крайне сложно получается, вернее громоздко а не сложно. мне надо все к примеру 40к человек собрать, а выходит это больше 40 комбинаций.

Такой вопрос подымался на форуме не один раз. Решение всегда одно - разбивать запросы. Другого пути найти не удалось. Что через АПИ, что гет-пост запросами, что через браузер - лимит выдачи 1000 по одному запросу.
Получается нужно только разбивать запросы.

Alexmd · 18.07.2019

По апи можно выдернуть всех и вся, зациклив offset.

evgen_po · 18.07.2019

Alexmd сказал(а):
По апи можно выдернуть всех и вся, зациклив offset.

Вы ошибаетесь, даже через АПИ, используя параметр offset - Вы получите только первую 1000 результатов. Не вводите людей в заблуждение.

https://vk.com/dev/users.search

http://joxi.ru/MAjGw87FjdELVr

Тут вообще offset использовать не нужно, т.к. одним запросом можно получить сразу 1000, а дальше не выдается, можете сами проверить.

heks · 18.07.2019

пришли какой город и какие параметры нужно вытянуть помогу

one · 18.07.2019

Попрбовать по возрасту разбить.

one · 28.07.2019

JanCarlo сказал(а):
Первую проблему решил)))

Как?

kolina · 23.10.2019

evgen_po сказал(а):
Вы ошибаетесь, даже через АПИ, используя параметр offset - Вы получите только первую 1000 результатов. Не вводите людей в заблуждение.

https://vk.com/dev/users.search

http://joxi.ru/MAjGw87FjdELVr

Тут вообще offset использовать не нужно, т.к. одним запросом можно получить сразу 1000, а дальше не выдается, можете сами проверить.

evgen_po

Даже ручками, открывается для просмотра только 1000 результатов. Как вариант для себя использую так. Нахожу сообщества в необходимом регионе. А с сообществ ограничения нет. Вчера 12 000 спарсил.
Порядок действий: составить список необходимых групп VK, спарсить всех участников этих групп в список, удалить дубли, в EXELе подправить ссылки(в необходимом виде не получилось) до нужного формата. И потом с этим списком работаю.

Spikers07 · 23.10.2019

При работе с Api offset не поможет.

Обратите внимание — даже при использовании параметра offset для получения информации доступны только первые 1000 результатов.

Единственный вариант разбить запрос на несколько частей, например 12 месяцев, подставляя на каждый запрос +1 в обработку переменных.

Господа, а кто как избегает банов во время отправки в лс?

Прикупил акков, повесил на них разные прокси, сделал большой спинтакс сообщения, сделал рандомную ссылку на оффер. Через вечер все акки в бане. К каждому живому обращался по имени.
Единственный ньюанс, токены для всех акков получал от одного приложения.

1. Прокси (Очень важный параметр. За 7 лет работы учёл одну вещь, что скупой платит дважды. Либо бери мобильные, либо качественные = дорогие, не ведись на дешевые сервисы)
2. Рандомизирование это хорошо, но не забывай о стоп словах.
3. В любом виде использование ссылки увеличивает внимание к твоей анкете на очень большое число.
4. Токен получай от официального приложения (андроид). Ибо ты сливаешься с 70% аудиторией при работе с Вк.
5. Попробуй не в первом сообщении отправлять ссылку, а например в 3 или 6. Это называется последовательные сообщения.

DrunkDeath · 23.10.2019

Как это offset не поможет? Всё он нормально работает. Используется offset и count и на каждый запрос счётчик offset увеличивается на число count, тем самым смещая результат поиска.

kolina · 23.10.2019

DrunkDeath сказал(а):
Как это offset не поможет? Всё он нормально работает. Используется offset и count и на каждый запрос счётчик offset увеличивается на число count, тем самым смещая результат поиска.

Он смещается только до 999 участников. Если парсить всю группу целиком, то я вчера спарсил 12 000, но если парсить не всех а выбрать в поиске например "город"? то опускается только до 999

zortexx · 23.10.2019

kolina сказал(а):
Он смещается только до 999 участников. Если парсить всю группу целиком, то я вчера спарсил 12 000, но если парсить не всех а выбрать в поиске например "город"? то опускается только до 999

И это логично.
Проще парсить группы через execute.

Rk61 · 23.10.2019

Чтоб получить большУю выдачу - нужно самому сделать базу.

Сначала парсим всех людей или все группы по id, начиная с первого, заканчивая последним.
Далее для каждого из них подгружаете нужные для вас данные по аккаунту\группе.
А потом уже из этой, созданной вами базы, делаете выборку по параметрам.

Таким образом ограничений не будет.

Минусы:
- долго собирать базу
- большой объём базы
- изменения аккаунтов не в режиме онлайн, периодически придётся обновлять базу

Alexmd · 23.10.2019

Перепроверил у себя - при смещении на 990 выдает всего 10 результатов. В принципе, для моей задачи это было не критично, у меня offset на сайте установлен 20 и 50 страниц за глаза хватает посетителям. Я был почему-то уверен, что так можно всех посмотреть.
Прошу прощения за заведомо неверный совет. Тоже стало интересно, как обойти это ограничение.

Rk61 · 24.10.2019

Alexmd сказал(а):
Перепроверил у себя - при смещении на 990 выдает всего 10 результатов. В принципе, для моей задачи это было не критично, у меня offset на сайте установлен 20 и 50 страниц за глаза хватает посетителям. Я был почему-то уверен, что так можно всех посмотреть.
Прошу прощения за заведомо неверный совет. Тоже стало интересно, как обойти это ограничение.

Обхода ограничения как такового не существует.
Есть несколько вариантов:
- Выкачивание всей базы пользователей\сообществ и поиск по ним своим скриптом
- Парсить сайты, которые уже за тебя выгрузили всю базу пользователей\сообществ
- Узкая сегментация для получения большего кол-ва целевых пользователей\сообществ (удобно использовать в вк апи метод экзекут, которым брать по целевому запросу до 25 сегментов)

Других вариантов не вижу и не использовал, если у кого-то есть практические советы - поделитесь)

zortexx · 25.10.2019

Определяем нашу ЦА;
Находим в выдаче милионники и городские/тематические группы;
Парсим всех участников групп используя метод execute;
Чистим полученный список от собак (на больших объемах выгоднее чистить сразу, но с объемом менее миллиона, можно делать это попутно);
Складываем полученные данные в базу, например, MySQL и...
Profit.

Полагаю, ни для кого не секрет, что даже используя куцый функционал интерфейса phpMyAdmin можно вытащить из базы очень много интересных, скажем так, совпадений :-)

))

socsecret.ru · 24.11.2019

Если есть знатоки ВКонтакте, подскажите пожалуйста такой момент. Я создаю шаблон, который собирает id всех пользователей, найденных в поиске. Т.е. хочу, чтобы обходилось ограничение выдачи в поиске (1000 человек). Делаю это путём указания даты рождения. К примеру, вот такие параметры поиска https://vk.com/search?c[per_page]=40&c[q]=Алкаш&c[section]=people - найдено 2197 человек. Но если указать День рождения один за одним, каждый из 31 дня, то в сумме получается 1230 человек. Как так? Вроде ж невозможно в ВК не указывать дату рождения? Может ещё какой-то способ есть обхода ограничения выдачи?

Spikers07 · 24.11.2019

Возможно просто некоторые указали только год рождения, а день скрыли)

socsecret.ru · 25.11.2019

Spikers07 сказал(а):
Возможно просто некоторые указали только год рождения, а день скрыли)

Нет, скрытие вообще не при чём. Скрытие лишь визуально убирает дату со странички, но в поиске аккаунт все равно находится.

Spikers07 · 25.11.2019

Arturs2006 сказал(а):
Нет, скрытие вообще не при чём. Скрытие лишь визуально убирает дату со странички, но в поиске аккаунт все равно находится.

Не забывайте про закрытые профили)

socsecret.ru · 25.11.2019

Spikers07 сказал(а):
Не забывайте про закрытые профили)

Что именно это означает? Заблокированные, или удалённые по собственному желанию, или еще что?

socsecret.ru · 26.11.2019

На счёт поиска людей через API, муть какая-то.
К примеру, я задаю вот такой запрос обычным поиском https://vk.com/search?c[city]=27&c[country]=1&c[per_page]=40&c[q]=робот&c[section]=people - находится 2 человека с именами Робот Пузо и Бендер Робот. Но при этом на панели разработчика (или не знаю как это правильней назвать) https://vk.com/dev/users.search?params[q]=робот&params[count]=1000&params[city]=27&params[country]=1&params[online]=0&params[has_photo]=0&params[v]=5.103 если задать те же самые параметры поиска, то находится всего лишь один человек с именем Робот Пузо. Куда же исчез второй человек??? Почему он не отображается в ответе? При этом в счётчике найденных людей он указан: "count": 2

stmult · 18.12.2019

evgen_po сказал(а):
Такой вопрос подымался на форуме не один раз. Решение всегда одно - разбивать запросы. Другого пути найти не удалось. Что через АПИ, что гет-пост запросами, что через браузер - лимит выдачи 1000 по одному запросу.
Получается нужно только разбивать запросы.

Просто так разбить тоже не всегда эффективно, так как примерно после 100-го запроса, вк наложит ограничения и будет выдавать пустой результат. Придется либо ждать, пока снимуть ограничение, либо паузы большие ставить. Причем ограничение будет даже если слать запросы по одному, без execute. То же самое будет, если делать через песочницу. В итоге если парсинг включает больше 80-100 запросов, тогда нужно искать другие варианты.

Обход ограничений поисковой выдачи VK

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Кто просматривает тему: (Всего: 2, Пользователи: 0, Гости: 2)