Как парсить Пuнтepecт?

[Nakus]

Не пойму как отлавливать запрос.
Собственно, нужно по запросу положить в список список URL на картинки, а дальше их скачать. (1к картинок даже много)
(идеальный вариант - это положить в список урл картинок, за которые хоть кто-то голосовал, но это не принципиально)

Сабж, если не сложно, покажите "на пальцах" как отлавливать, как парсить, есть ли сложности с проксями и тп...

Кусок блоков - придел мечтаний!!!

 

[Valiksim]

Регистрируешься. Берёшь DOM, и спарсиваешь (откуда тебе надо) то, что по ссылке с признаком "/pin/"
Дальше, уже с этих ссылок парсишь большую картинку. Это кратко

 

[Nakus]

Проблема в подгрузке всех картинок

 

[rostonix]

Проблема в подгрузке всех картинок

какая?

 

[Nakus]

Прокрутка страницы. Знаю, как-то отлавливают эти запросы, но как не могу понять))))

 

[Valiksim]

Проблема в подгрузке всех картинок

Попробуй "Эмуляция клавиатуры", и {PGDN}
Другой вариант, посмотри видео как парсить Твиттер, там показан другой способ ловли.
Но, и то и другое неблагодарная работа на Пинтересте. Там хаос тотальный, спарсить 1к картинок тематических крайне сложно. 90% мусора соберёшь, который потом чистить надо. Однако, ты так и не озвучил свою задачу. А мы тут зря гадаем, что же ему надо и в каком виде?

 

[Nakus]

Мне нужно
Вар. 1: по запросу спарсить 2к или больше картинок и положить их в папку.
Вар. 2: по запросу спарсить 2к или больше картинок, за которые хоть кто то голосовал и положить их в список, а потом в таблицу вида: адрес;кол-во пинов.

 

[Valiksim]

Сложность в том, что Пинтерест даёт картинки весьма специфически. задать запрос и получить такое кол-во картинок с 1-ой ссылки не получится. Придётся парсить, что дали на 1-й странице выдачи, а затем идти по полученным ссылкам и добирать оттуда. Чем дальше, тем меньше релевантного будет. Сам по себе парсинг не сложный, сложно найти именно то, чего тебе надо

 

[Nakus]

В первом варианте достаточно будет того, что есть на первой странице.