- Регистрация
- 02.12.2014
- Сообщения
- 138
- Реакции
- 132
- Баллы
- 43
Парсер включает два шаблона:
Делает GET-запрос на страницу с видео, выдергивает описание и название.
Youtube ID Parser
Для затравки скармливается ID одного видео. Далее шаблон парсит ID рекомендуемых видео.
Сначала следует напарсить ID. У меня получилось около 402к за неделю. Затем запускаем шаблон с парсингом видео. По идее, оба шаблона могут работать вместе - парсинг ID всегда будет идти быстрее, чем описаний и названий.
Данные сохраняются в БД MySQL, т.к. хранить в файлах - это медленно и неоптимально. Потребуется установить саму БД и phpmyadmin (опционально).
Способ установки №1
Скачать инсталлер на https://dev.mysql.com/downloads/installer/. Для phpmyadmin потребуется PHP и веб-сервер (Apache или nginx). Можно скачать готовые LAMP-сборки Wamp, Xampp etc.
Способ установки №2
Устанавливаем Docker Desktop. Подготавливаем файл docker-compose.yml, переходим в директорию с этим файлом и выполняем команду
Создаем таблицу с такой структурой:
Создаем уникальный индекс для youtube_id, чтобы избежать дублей. И, конечно же, primary индекс для автоинкремента.
Естественно, индексы нужно создать до заполнения таблицы данными.
БД готова. Добавляем одну запись ручками с первым ID. Пример: https://www.youtube.com/watch?v=nok4P9cYw_g - выделил ID. Можно взять любое видео и скопировать его ID для затравки. Далее запускаем Youtube ID Parser. Как только появилась хотя бы первая 1000, то можно запускать Youtube Video Info Parser.
- парсер описания и названия видео
- парсер рекомендуемых видео
Делает GET-запрос на страницу с видео, выдергивает описание и название.
Youtube ID Parser
Для затравки скармливается ID одного видео. Далее шаблон парсит ID рекомендуемых видео.
Сначала следует напарсить ID. У меня получилось около 402к за неделю. Затем запускаем шаблон с парсингом видео. По идее, оба шаблона могут работать вместе - парсинг ID всегда будет идти быстрее, чем описаний и названий.
Данные сохраняются в БД MySQL, т.к. хранить в файлах - это медленно и неоптимально. Потребуется установить саму БД и phpmyadmin (опционально).
Способ установки №1
Скачать инсталлер на https://dev.mysql.com/downloads/installer/. Для phpmyadmin потребуется PHP и веб-сервер (Apache или nginx). Можно скачать готовые LAMP-сборки Wamp, Xampp etc.
Способ установки №2
Устанавливаем Docker Desktop. Подготавливаем файл docker-compose.yml, переходим в директорию с этим файлом и выполняем команду
docker-compose up. После запуска контейнеров phpmyadmin будет доступен по адресу localhost:8080. Создаем таблицу с такой структурой:
Создаем уникальный индекс для youtube_id, чтобы избежать дублей. И, конечно же, primary индекс для автоинкремента.
Естественно, индексы нужно создать до заполнения таблицы данными.
БД готова. Добавляем одну запись ручками с первым ID. Пример: https://www.youtube.com/watch?v=nok4P9cYw_g - выделил ID. Можно взять любое видео и скопировать его ID для затравки. Далее запускаем Youtube ID Parser. Как только появилась хотя бы первая 1000, то можно запускать Youtube Video Info Parser.
- Номер конкурса шаблонов
- Двенадцатый конкурс шаблонов
Последнее редактирование модератором:
