Get-запрос

[als]

Здравствуйте, создал шаб для парсинга сайта, но данные которые надо спарсить лежет не на страницах, а подгружаются автоматически, как сделать с помощью гет-запроса так, чтобы прокручивало страницу в самый низ??

 

[Sergodjan]

Здравствуйте, создал шаб для парсинга сайта, но данные которые надо спарсить лежет не на страницах, а подгружаются автоматически, как сделать с помощью гет-запроса так, чтобы прокручивало страницу в самый низ??

Авто-прокручивание страницы с использованием скриптов производится, т.к. при get-запросе скрипты не выполняются, в этом случае можно
делать обращение к отдельным страницам пагинации, смотреть исходник страницы и выяснять, как эти
обращения производятся, делать отдельный запрос на каждую такую страницу.

 

[als]

Не понял)
не особо разбираюсь в сленге программистов))
Что такое пагинации?

 

[als]

Мне сказали что прокрутку страницы вниз можно сделать с помощью гет запроса, а как это сделать не сказали, вот я сейчас пытаюсь найти инфу, нигде нет, решил тут спросить)

 

[nicanil]

Скорее всего данные на сайт подгружаются с помощью AJAX запросов.
Нужно в мониторе трафика смотреть какие запросы делает сайт.

 

[nuzypeqi]

Разве можно делать через GET запрос прокрутку? Это вроде разовое обращение к странице или я тоже не много знаю и путаю? Как вариант после запроса, искать в коде странице по страничность

 

[Sergodjan]

Что такое пагинации?

Пагинация (от слова page, страница) - это возможность перехода по отдельным страницам, например по урл и номеру страницы.
Современные сайты используют ajax-подгрузку урлов пагинации, как сказали выше, выявить эти урлы можно через монитор трафика,
который есть в ПМ и делать get-запросы на такие урлы.

 

[Sergodjan]

Разве можно делать через GET запрос прокрутку?

Нет конечно, просто через урл с номером страницы можно делать запрос на отдельные страницы пагинации,
которые подгружаются на сайте автоматически одна за другой. Таким образом спарсить все страницы можно отдельными
запросами в цикле на урлы, с которых подгружаются страницы при скроллировании в самый низ страницы в браузере.

 

[nicanil]

Разве можно делать через GET запрос прокрутку? Это вроде разовое обращение к странице или я тоже не много знаю и путаю? Как вариант после запроса, искать в коде странице по страничность

Нет, конкретно на прокрутку сделать запрос нельзя. Но, когда пользователь, например, прокрутил до низа страницы срабатывает событие. При срабатывании данного события отправляется запрос на сервер с помощью AJAX для получения новых данных. Потом с помощью JavaScript новая порция данных встраивается в страницу. Яркий пример такого поведения сайты с бесконечным скролом - новостная лента ВК, главная Пикабу

 

[Ikigai]

Нет конечно, просто через урл с номером страницы можно делать запрос на отдельные страницы пагинации,
которые подгружаются на сайте автоматически одна за другой. Таким образом спарсить все страницы можно отдельными
запросами в цикле на урлы, с которых подгружаются страницы при скроллировании в самый низ страницы в браузере.

К примеру у меня 5 страниц, если организовываю гет запросы, как вы сказали , то после 5 странице они идут и дальше... А как сделать так , что бы они останавливались на последней?


Думал организовать сбор максимальной страницы через гет запросы. Но почемуто не выводит эту инфу ( см. рисунок )

Задача стоит взять максимальную страницу ( в данном случае 5 ) и далее осуществить постраничные Get запросы.

Как решение конечно можно заходить с бразера на первую страницу , потом выпаршивать наибольшую и дальше по гет запросам идти..