как правильно осуществить перелистывание страниц

[Dmitry91]

Добрый день!
Подскажите, пожалуйста, мне надо спарсить все обьявления со всех страниц, как мне правильно осуществить перелистывние страниц? как я понимаю счетчик здесь не подойдет, или я просто мало что про него знаю...я пытался сделать по простому: собираю данные с одной страницы, кликаю на другую страницу, собираю данные со второй страницы, но потом, когда кнопка уже по идее не кликабельна, ,страниц больше не осталось, действие клик все равно проходит по успеху...как мне сделать так, чтоб клик остановился в тот момент, когда новых страниц уже нет?
https://bloomington.craigslist.org/d/general-for-sale/search/foa

Спасибо

 

[molotok]

Перед сбором сделать проверку на наличие объявлений на странице.

 

[Dmitry91]

Перед сбором сделать проверку на наличие объявлений на странице.

а толку? обьявления на страницы в любом случае есть...если только сделать следующую проверку: если на странице обьявлений меньше 24, то все, страницы закончились... но при этом возможно и такое, что на последней странице будут все 24 обьявления и клик зациклится

 

[Mikhail B.]

Делай парсер на запросах. Это круче, тебе понравится)

 

[Dmitry91]

Делай парсер на запросах. Это круче, тебе понравится)

возможно и понравится, но я пока не знаю как это делать) я пока умею собирать информацию через {-Page.Dom} и regex...когда таким способом парсю, на данном cайте можно сделать так, чтоб клик останавливался, когда страниц больше не осталось?!

 

[Dmitry91]

Делай парсер на запросах. Это круче, тебе понравится)

по сути вопрос заключается в следующем- как понять, что кнопка переключения страниц не кликабельна?

 

[Mikhail B.]

по сути вопрос заключается в следующем- как понять, что кнопка переключения страниц не кликабельна?

У нее значения координат будут на 0. Либо ее вобще не будет. Делается запрос к элементу методом get.

 

[Mikhail B.]

возможно и понравится, но я пока не знаю как это делать) я пока умею собирать информацию через {-Page.Dom} и regex...когда таким способом парсю, на данном cайте можно сделать так, чтоб клик останавливался, когда страниц больше не осталось?!

Get запрос такой же dom присылает в ответе.

 

[Platon]

как я понимаю счетчик здесь не подойдет

Почему не пойдет? Можно спарсить общее количество товара
Разделить на количество товара на странице, округлить в большую сторону
Получим общее количество страниц
Счетчик увеличивается на количество товара на странице
Пара математических действий, один счетчик и один IF
Взять данные и пропустить через regex сложить в список
Вот и весть шаблон

 

[Dmitry91]

Почему не пойдет? Можно спарсить общее количество товара
Разделить на количество товара на странице, округлить в большую сторону
Получим общее количество страниц
Счетчик увеличивается на количество товара на странице
Пара математических действий, один счетчик и один IF
Взять данные и пропустить через regex сложить в список
Вот и весть шаблон

да уже самого доперло до этого, именно так и сделал) не было еще такого опыта, поэтому не знал как осуществить...но все равно спасибо!