Как парсить логины с форумов

[qwadra]

Есть некий форум, допустим вот такой https://vredy.site/index.php
Как пробежаться по всем разделам, подразделам, темам и, желательно страницам, что бы всех собрать?

 

[qwadra]

Я так понимаю, надо через гет запросы, но
1) как пройти все страницы
2) как быть когда (как я понял) сайт не отдает содержимое в запросе

 

[Dimionix]

Для данного сайта всё просто:
https://vredy.site/index.php?/search/ > Вкладка "Поиск пользователя" > Выбрать, кого искать (по желанию) > Кнопка "Поиск пользователей" > GET запросами постранично спарсить пользователей (page=1, page=2... page=511) = Профит

Ссылка на первую страницу (все пользователи) => https://vredy.site/index.php?/search/&type=core_members&page=1&joinedDate=any&group[4]=1&group[6]=1&group[12]=1&group[3]=1&group[11]=1&group[14]=1&group[19]=1&group[20]=1&group[7]=1
или так => https://vredy.site/index.php?/search/&type=core_members&page=1

На сайте сделана принудительная задержка на поиск, так что нужно использовать прокси. Может если авторизоваться, задержки не будет, хз.

 

[qwadra]

Для данного сайта всё просто:
https://vredy.site/index.php?/search/ > Вкладка "Поиск пользователя" > Выбрать, кого искать (по желанию) > Кнопка "Поиск пользователей" > GET запросами постранично спарсить пользователей (page=1, page=2... page=511) = Профит

Ссылка на первую страницу (все пользователи) => https://vredy.site/index.php?/search/&type=core_members&page=1&joinedDate=any&group[4]=1&group[6]=1&group[12]=1&group[3]=1&group[11]=1&group[14]=1&group[19]=1&group[20]=1&group[7]=1
или так => https://vredy.site/index.php?/search/&type=core_members&page=1

На сайте сделана принудительная задержка на поиск, так что нужно использовать прокси. Может если авторизоваться, задержки не будет, хз.

А вы пробовали делать запрос? Мне по обеим ссылкам отдает не список пользователей, а главную страницу(

 

[Dimionix]

А вы пробовали делать запрос? Мне по обеим ссылкам отдает не список пользователей, а главную страницу(

Действительно, сайт походу под cloudflare. Чтоб с ним не заморачиваться, 511 страниц можно и через браузер спарсить.

На всякий случай => Cloud Flare - обход защиты на легке