Переход по страницам через Get запрос

Jeka124

Client
Регистрация
19.09.2020
Сообщения
122
Благодарностей
3
Баллы
18
Всем привет. Столкнулся с такой проблемой. Нужно спарсить все товары продавца на Prom.ua, но когда делаю запрос выдает (<p>Found. Redirecting to <a href="/c438143-bat-optcomua;5.html">/c438143-bat-optcomua;5.html</a></p>) хотя ссылка правильная.

Ссылка на продавца - https://prom.ua/c438143-bat-optcomua.html - если делать запрос по это ссылке все ок, но как только начинаю перебирать страницы начинаются проблемы.

Ссылка на вторую страницу - https://prom.ua/c438143-bat-optcomua;2.html - казалось бы все максимально просто, нужно подставить номер страницы, но это вариант не работает. Смотрел, через вкладку трафик, по этой ссылке даже не выполняется Get запрос.

Есть какие либо идеи?

Через веб не вариант, парсить нужно не одного продавца.
 

Alexmd

Client
Регистрация
10.12.2018
Сообщения
1 022
Благодарностей
1 424
Баллы
113
Зенке не нравится точка с запятой в ссылке.
Измените способ передачи заголовков в настройках проекта на альтернативный или выполните UrlEncode для ссылки.
https://prom.ua/c438143-bat-optcomua%2С2.html - так получается
 

Jeka124

Client
Регистрация
19.09.2020
Сообщения
122
Благодарностей
3
Баллы
18
Зенке не нравится точка с запятой в ссылке.
Измените способ передачи заголовков в настройках проекта на альтернативный или выполните UrlEncode для ссылки.
https://prom.ua/c438143-bat-optcomua%2С2.html - так получается
Благодарю за помощь
 

Vvafel

Client
Регистрация
24.12.2017
Сообщения
80
Благодарностей
35
Баллы
18
Браузер загружает остальное в формате json с сервера, отправляя POST по следующему адресу: https://prom.ua/graphql

82664
 

Jeka124

Client
Регистрация
19.09.2020
Сообщения
122
Благодарностей
3
Баллы
18
Зенке не нравится точка с запятой в ссылке.
Измените способ передачи заголовков в настройках проекта на альтернативный или выполните UrlEncode для ссылки.
https://prom.ua/c438143-bat-optcomua%2С2.html - так получается
При таком варианте, подгружается все кроме ссылок на товар, а они как раз мне и нужны
 

Jeka124

Client
Регистрация
19.09.2020
Сообщения
122
Благодарностей
3
Баллы
18

Vvafel

Client
Регистрация
24.12.2017
Сообщения
80
Благодарностей
35
Баллы
18
А значение из json urlForProductCatalog?
 

Jeka124

Client
Регистрация
19.09.2020
Сообщения
122
Благодарностей
3
Баллы
18

Ilshakin

Client
Регистрация
14.02.2017
Сообщения
639
Благодарностей
581
Баллы
93
прикладываю шаблон, чисто как пример, на кубиках
распарсишь уже сам, нужными методами/регулярками
 

Вложения

  • 14,3 КБ Просмотры: 58
  • Спасибо
Реакции: Jeka124

Кто просматривает тему: (Всего: 2, Пользователи: 0, Гости: 2)