Здравствуйте, создал шаб для парсинга сайта, но данные которые надо спарсить лежет не на страницах, а подгружаются автоматически, как сделать с помощью гет-запроса так, чтобы прокручивало страницу в самый низ??
Get-запрос
- Автор темы als
- Дата начала
- Регистрация
- 05.09.2012
- Сообщения
- 20 562
- Благодарностей
- 9 177
- Баллы
- 113
Авто-прокручивание страницы с использованием скриптов производится, т.к. при get-запросе скрипты не выполняются, в этом случае можно
делать обращение к отдельным страницам пагинации, смотреть исходник страницы и выяснять, как эти
обращения производятся, делать отдельный запрос на каждую такую страницу.
Мне сказали что прокрутку страницы вниз можно сделать с помощью гет запроса, а как это сделать не сказали, вот я сейчас пытаюсь найти инфу, нигде нет, решил тут спросить)
Разве можно делать через GET запрос прокрутку? Это вроде разовое обращение к странице или я тоже не много знаю и путаю? Как вариант после запроса, искать в коде странице по страничность
- Регистрация
- 05.09.2012
- Сообщения
- 20 562
- Благодарностей
- 9 177
- Баллы
- 113
Пагинация (от слова page, страница) - это возможность перехода по отдельным страницам, например по урл и номеру страницы.
Современные сайты используют ajax-подгрузку урлов пагинации, как сказали выше, выявить эти урлы можно через монитор трафика,
который есть в ПМ и делать get-запросы на такие урлы.
- Регистрация
- 05.09.2012
- Сообщения
- 20 562
- Благодарностей
- 9 177
- Баллы
- 113
Нет конечно, просто через урл с номером страницы можно делать запрос на отдельные страницы пагинации,
которые подгружаются на сайте автоматически одна за другой. Таким образом спарсить все страницы можно отдельными
запросами в цикле на урлы, с которых подгружаются страницы при скроллировании в самый низ страницы в браузере.
nicanil
Client
- Регистрация
- 06.03.2016
- Сообщения
- 2 246
- Благодарностей
- 1 820
- Баллы
- 113
Нет, конкретно на прокрутку сделать запрос нельзя. Но, когда пользователь, например, прокрутил до низа страницы срабатывает событие. При срабатывании данного события отправляется запрос на сервер с помощью AJAX для получения новых данных. Потом с помощью JavaScript новая порция данных встраивается в страницу. Яркий пример такого поведения сайты с бесконечным скролом - новостная лента ВК, главная Пикабу
Ikigai
Client
- Регистрация
- 13.12.2016
- Сообщения
- 276
- Благодарностей
- 27
- Баллы
- 28
К примеру у меня 5 страниц, если организовываю гет запросы, как вы сказали , то после 5 странице они идут и дальше... А как сделать так , что бы они останавливались на последней?
Думал организовать сбор максимальной страницы через гет запросы. Но почемуто не выводит эту инфу ( см. рисунок )
Задача стоит взять максимальную страницу ( в данном случае 5 ) и далее осуществить постраничные Get запросы.
Как решение конечно можно заходить с бразера на первую страницу , потом выпаршивать наибольшую и дальше по гет запросам идти..