Как спарсить все заголовки видео на канале в Youtube

[Аркадий]

Здравствуйте) Пишу шаблон, который смог бы спарсить все заголовки видео на канале в Youtube.

Шаблон работает так:
1. Логинимся на youtube
2. Переходим на нужный канал, который указывается во входных данных
3. Переходим по ссылки Видео (чтобы видеть все видео канала)
4. Собираем заголовки видео.

И вот на последнем шаге проблема... Там ajax подгрузка видео. Что делать?)) Как мне получить все видео на канале?)

Я так понимаю, что GET запросы тут уже не подходят...

Подскажете пожалуйста)

 

[Sergodjan]

Здравствуйте) Пишу шаблон, который смог бы спарсить все заголовки видео на канале в Youtube.

Шаблон работает так:
1. Логинимся на youtube
2. Переходим на нужный канал, который указывается во входных данных
3. Переходим по ссылки Видео (чтобы видеть все видео канала)
4. Собираем заголовки видео.

И вот на последнем шаге проблема... Там ajax подгрузка видео. Что делать?)) Как мне получить все видео на канале?)

Я так понимаю, что GET запросы тут уже не подходят...

Подскажете пожалуйста)

На стартовой странице ПМ есть примеры шаблонов,
там есть пример шаблона, который можно задействовать для ваших нужд.

 

[Аркадий]

На стартовой странице ПМ есть примеры шаблонов,
там есть пример шаблона, который можно задействовать для ваших нужд.

Не заметил его) Спасибо) А это единственный способ или есть еще варианты реализации ajax подгрузки?)

 

[Sergodjan]

Не заметил его) Спасибо) А это единственный способ или есть еще варианты реализации ajax подгрузки?)

Есть еще вариант, как минимум.
Например тоже в цикле, парсить в список, удалять дубли, скроллить и проверять кол-во строк в списке, если оно не увеличилось, то значит достигнут конец страницы.

Вот еще один вариант:

 

[Dr.Pipetka]

Или использовать апи...

 

[Аркадий]

Есть еще вариант, как минимум.
Например тоже в цикле, парсить в список, удалять дубли, скроллить и проверять кол-во строк в списке, если оно не увеличилось, то значит достигнут конец страницы.

Вот еще один вариант:

View attachment 37266

Спасибо)) Буду разбираться))

 

[kompas777]

Год назад решил задачу подобную на python на базе этого кода на гихабе, там через API, токен получить бесплатно можно.
На C# можно попробовать реализовать, там на уровне вот таких запросов делается:

inp = urllib.urlopen(r'https://www.googleapis.com/youtube/v3/search?start-index={0}&order=date&part=snippet&channelId={1}&maxResults=50&key={2}'.format(ind, channel_id, YOUR_API_KEY))

 

[Meteorburn]

Спасибо)) Буду разбираться))

Предлагаю готовое решение: Ссылка