Вопрос по парсингу

[MaxLucky]

Здравствуйте. Задача написать парсер на сайте afy.ru. Чтобы сайт выдал больше позиций, необходимо нажимать кнопку "Загрузить больше объектов". У меня зенка ложится на 100 круге. При выключенных скриптах, картинках, стилях. Задача парсить больше позиций за раз.

Можно парсить по страничкам, приписывая &page=1, 2 и так далее. Но сам сайт не даёт уйти дальше 150. Пишет про "технические работы".

Можно ли как-то решить эту задачу?

 

[zarufakis]

Самый простой способ: ищи гет или пост запрос в трафике, который отдает данные. Обычно они в JSON формате, которые легко парсятся. Там же в ссылке можно поискать параметры, возможно, можно загрузить все сразу одним запросом.