Как спарсить всех юзеров с сайта?

Haykki

Новичок
Регистрация
19.12.2022
Сообщения
2
Благодарностей
1
Баллы
3
Когда я начинаю парсить с сайта https://rarible.com/explore/ethereum/users то мне парсится только те кто прогружен остальные нет.Как можно спарсить всех пользователь сайта?Знаю что через post-запрос можно но у меня что то не получается..
 

djaga

Administrator
Команда форума
Регистрация
26.04.2020
Сообщения
533
Благодарностей
1 111
Баллы
93
Когда я начинаю парсить с сайта https://rarible.com/explore/ethereum/users то мне парсится только те кто прогружен остальные нет.Как можно спарсить всех пользователь сайта?Знаю что через post-запрос можно но у меня что то не получается..
Вероятно, страница генерируется скриптами.
Прокручивайте страницу на определенную длину и повторяй парсинг данных.

Так же можно зайти на страницу через браузер и просто получить все запросы. Вероятно, там есть JSON'ы которые вам нужны. Их тоже можно спарсить.
В этом вам поможет поиск по форуму. Например, вот ссылка.
 
  • Спасибо
Реакции: dgreen, loka23 и Sho

blackbyte

Client
Регистрация
05.09.2022
Сообщения
216
Благодарностей
122
Баллы
43
Запрос на получение ID пользователей - https://rarible.com/marketplace/search/v1/users
В Post данных меняем значение у параметра "size": на 1000 .

Парсим ID [{"id":"0x27899282184a2c3a18b54766d6435fee75910a70"

Далее запрос - https://rarible.com/marketplace/api/v4/profiles/list

В Post данные вставляем ID с парса и в ответе получаем пользователей "name":"Daniel Krumm","
 
  • Спасибо
Реакции: dimonst2008 и djaga

Haykki

Новичок
Регистрация
19.12.2022
Сообщения
2
Благодарностей
1
Баллы
3
Запрос на получение ID пользователей - https://rarible.com/marketplace/search/v1/users
В Post данных меняем значение у параметра "size": на 1000 .

Парсим ID [{"id":"0x27899282184a2c3a18b54766d6435fee75910a70"

Далее запрос - https://rarible.com/marketplace/api/v4/profiles/list

В Post данные вставляем ID с парса и в ответе получаем пользователей "name":"Daniel Krumm","
Я чуствую себя вообще тупым можно немного поподробнее?
 
  • Спасибо
Реакции: Sho

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)