Помогите спарсить пользователей

Регистрация
13.04.2016
Сообщения
650
Благодарностей
53
Баллы
28
регуляркой собираются первые пара десятков пользователей, эмуляция клавиатуры сколько бы не крутил вниз, собираются те же пользователи что и вначале.
по совету умных людей пол-дня смотрел ролики про json, но как сюда применить не понял...
 

radv

Client
Регистрация
11.05.2015
Сообщения
3 788
Благодарностей
1 952
Баллы
113
но как сюда применить не понял...
1. Смотрите исходный код страницы до прокрутки, сохраняете в файл.
2. Делаете прокрутку и опять смотрите исходный код страницы, сохраняете в файл. Понимаете, какие действия приводят к обновлению списка пользователей.
3. Ищите отличия в файлах, какие изменения произошли и т.п.
4. Делаете пошаговую отладку. Проверяте, обновление коллекции которую перебираете, что туда попали все новые элементы.

таким образом определяете, на каком этапе происходит ошибка и что не срабатывает.

Начинаете использовать xpath вместо регулярок, для более стабильной работы, так как регулярки более капризны к изменения в коде страницы.

Смотрите реализацию подобных действий в разделе с бесплатными шаблонами.
 
Последнее редактирование:

Ivanych

Client
Регистрация
15.09.2020
Сообщения
55
Благодарностей
7
Баллы
8
регуляркой собираются первые пара десятков пользователей, эмуляция клавиатуры сколько бы не крутил вниз, собираются те же пользователи что и вначале.
по совету умных людей пол-дня смотрел ролики про json, но как сюда применить не понял...
Я парсил из поиска, делал штук 10 скролов вниз, потом парсил и набирал 400 ссылок, мне больше и не надо за раз.
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)