- Регистрация
- 02.12.2014
- Сообщения
- 137
- Благодарностей
- 130
- Баллы
- 43
Парсер включает два шаблона:
Делает GET-запрос на страницу с видео, выдергивает описание и название.
Youtube ID Parser
Для затравки скармливается ID одного видео. Далее шаблон парсит ID рекомендуемых видео.
Сначала следует напарсить ID. У меня получилось около 402к за неделю. Затем запускаем шаблон с парсингом видео. По идее, оба шаблона могут работать вместе - парсинг ID всегда будет идти быстрее, чем описаний и названий.
Данные сохраняются в БД MySQL, т.к. хранить в файлах - это медленно и неоптимально. Потребуется установить саму БД и phpmyadmin (опционально).
Способ установки №1
Скачать инсталлер на https://dev.mysql.com/downloads/installer/. Для phpmyadmin потребуется PHP и веб-сервер (Apache или nginx). Можно скачать готовые LAMP-сборки Wamp, Xampp etc.
Способ установки №2
Устанавливаем Docker Desktop. Подготавливаем файл docker-compose.yml, переходим в директорию с этим файлом и выполняем команду
Создаем таблицу с такой структурой:
Создаем уникальный индекс для youtube_id, чтобы избежать дублей. И, конечно же, primary индекс для автоинкремента.
Естественно, индексы нужно создать до заполнения таблицы данными.
БД готова. Добавляем одну запись ручками с первым ID. Пример: https://www.youtube.com/watch?v=nok4P9cYw_g - выделил ID. Можно взять любое видео и скопировать его ID для затравки. Далее запускаем Youtube ID Parser. Как только появилась хотя бы первая 1000, то можно запускать Youtube Video Info Parser.
- парсер описания и названия видео
- парсер рекомендуемых видео
Делает GET-запрос на страницу с видео, выдергивает описание и название.
Youtube ID Parser
Для затравки скармливается ID одного видео. Далее шаблон парсит ID рекомендуемых видео.
Сначала следует напарсить ID. У меня получилось около 402к за неделю. Затем запускаем шаблон с парсингом видео. По идее, оба шаблона могут работать вместе - парсинг ID всегда будет идти быстрее, чем описаний и названий.
Данные сохраняются в БД MySQL, т.к. хранить в файлах - это медленно и неоптимально. Потребуется установить саму БД и phpmyadmin (опционально).
Способ установки №1
Скачать инсталлер на https://dev.mysql.com/downloads/installer/. Для phpmyadmin потребуется PHP и веб-сервер (Apache или nginx). Можно скачать готовые LAMP-сборки Wamp, Xampp etc.
Способ установки №2
Устанавливаем Docker Desktop. Подготавливаем файл docker-compose.yml, переходим в директорию с этим файлом и выполняем команду
docker-compose up. После запуска контейнеров phpmyadmin будет доступен по адресу localhost:8080. Создаем таблицу с такой структурой:
Создаем уникальный индекс для youtube_id, чтобы избежать дублей. И, конечно же, primary индекс для автоинкремента.
Естественно, индексы нужно создать до заполнения таблицы данными.
БД готова. Добавляем одну запись ручками с первым ID. Пример: https://www.youtube.com/watch?v=nok4P9cYw_g - выделил ID. Можно взять любое видео и скопировать его ID для затравки. Далее запускаем Youtube ID Parser. Как только появилась хотя бы первая 1000, то можно запускать Youtube Video Info Parser.
- Номер конкурса шаблонов
- Двенадцатый конкурс шаблонов
Для запуска проектов требуется программа ZennoPoster или ZennoDroid.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...
Для того чтобы запустить шаблон, откройте нужную программу. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.
Последнее редактирование модератором:
