Нужно спарсить все содержимое страницы, в DOM модели нет всех результатов

[seowin]

Помогите спарсить список альбомов исполнителей с Яндекс музыки.
Например, https://music.yandex.ru/artist/7002056/albums не получается спарсить все альбомы, их 47, а парсится всего лишь 20, в DOM модели всех альбомов нет.
Ранее с таким не сталкивался.

 

[Sergodjan]

Помогите спарсить список альбомов исполнителей с Яндекс музыки.
Например, https://music.yandex.ru/artist/7002056/albums не получается спарсить все альбомы, их 47, а парсится всего лишь 20, в DOM модели всех альбомов нет.
Ранее с таким не сталкивался.

Можно делать парсинг и прокручивать страницу и снова делать парсинг и потом очистить список/таблицу от дублей.

 

[Moonwalker]

Зачем вообще парсить браузером, если можно получить запросом весь список сразу в JSON:

https://api.music.yandex.ru/artists/7002056/direct-albums?page=0&pageSize=20&sort-by=year

Причем, в ответе видишь, сколько всего альбомов, соответственно, столько страниц и проходишь,накручивая счетчик в page={тут}
Плюс можно делать большие выборки, чтобы делать меньше запросов. Т.е., делаем не pageSize=20, а pageSize=50
И т.д.

 

[seowin]

Можно делать парсинг и прокручивать страницу и снова делать парсинг и потом очистить список/таблицу от дублей.

Обычно всегда так и делал, но здесь код не менялся почему-то...

 

[seowin]

Зачем вообще парсить браузером, если можно получить запросом весь список сразу в JSON:

https://api.music.yandex.ru/artists/7002056/direct-albums?page=0&pageSize=20&sort-by=year

Причем, в ответе видишь, сколько всего альбомов, соответственно, столько страниц и проходишь,накручивая счетчик в page={тут}
Плюс можно делать большие выборки, чтобы делать меньше запросов. Т.е., делаем не pageSize=20, а pageSize=50
И т.д.

Благодарю!
Не знал что есть апи, тут намного проще тогда все решается.

 

[Moonwalker]

Благодарю!
Не знал что есть апи, тут намного проще тогда все решается.

Так не надо знать заранее, надо просто всегда смотреть в браузере список запросов на странице. Там нередко все нужное лежит прямо под рукой, и не надо будет выдумывать велосипед )) Я тоже не знал, открыл в браузере страницу по ссылке, нажал F12, обновил страницу )))