Как прокручивать страницу, чтобы она прогружалась для парсинга ссылок?

[kabangig]

Все привет и такой вопрос.
Вот например беру DOM страницы с результатами поиска на youtube. И с регулярным выражением сохраняю ссылки себе в файл.
НО прогружается только 20 или 30 видео. Соответсвенно сохраняются тоже, только эти прогруженные видео.
Как страницу целиком прогрузить, чтобы спарсить все ссылки? Промотать или как подругому. Как это делается?

 

[Dexio]

Все привет и такой вопрос.
Вот например беру DOM страницы с результатами поиска на youtube. И с регулярным выражением сохраняю ссылки себе в файл.
НО прогружается только 20 или 30 видео. Соответсвенно сохраняются тоже, только эти прогруженные видео.
Как страницу целиком прогрузить, чтобы спарсить все ссылки? Промотать или как подругому. Как это делается?

Один из самых простых вариантов- проскролить вниз. Можно например эмуляцией клавиатуры

 

[takerz]

Все привет и такой вопрос.
Вот например беру DOM страницы с результатами поиска на youtube. И с регулярным выражением сохраняю ссылки себе в файл.
НО прогружается только 20 или 30 видео. Соответсвенно сохраняются тоже, только эти прогруженные видео.
Как страницу целиком прогрузить, чтобы спарсить все ссылки? Промотать или как подругому. Как это делается?

С помощью экшена "эмуляция клавиатуры": {END}
Второй вариант перемещаться к любому элементу в футере

 

[Nixens]

Также еще можно эмуляцией клавиатуры просто командой {DOWN}

 

[WebBot]

далеко не на всех сайтах {END} прогрузит всю страницу ... подгрузит еще часть и все
нужно найти тэг в который идет подгрузка контента при нажатии на {END} ... перед и после нажатия нужно получать высоту тега и смотреть изменилась ли она ... если изменилась, то снова жать {END}, если нет, то значит всю страницу проскролили

 

[takerz]

Кстати в идеале нужно найти элемент в коде по нажатию на который подгружается страница дальше. В Вк например такой элемент есть

 

[Dexio]

далеко не на всех сайтах {END} прогрузит всю страницу ... подгрузит еще часть и все
нужно найти тэг в который идет подгрузка контента при нажатии на {END} ... перед и после нажатия нужно получать высоту тега и смотреть изменилась ли она ... если изменилась, то снова жать {END}, если нет, то значит всю страницу проскролили

Оригинальное решение!! а нет примера случаем в загажнике? Я так мучался с аяксовым немецким сайтом..

 

[WebBot]

Примера под рукой нет, но там и сложного ничего нет. Главное определить в какой html тег (контейнер) происходит подгрузка новых данных при скроллинге ... обычно легко находится в файрбаге. А дальше находите этот тег в конструкторе действий, выбираете аттрибут height (высота) и выбираете GET для получения значения ... получаете до и после эмуляции квлавиатуры с {END} и сравниваете

 

[kabangig]

всем спасибо за советы

на youtube получилось следующим образом
-получил высоту div'a с результатами поиска
-в цикле пожал {DOWN} 100 раз
-получил высоту еще раз и сравнил с предыдущим значением и если она стала больше возращаюсь в цикл и кручу вниз дальше, а
если высота не изменилась значит мы в конце страницы