- Регистрация
- 02.12.2014
- Сообщения
- 137
- Благодарностей
- 129
- Баллы
- 43
Парсер включает два шаблона:
Переходит в браузере на страницу с видео, выдергивает описание и название.
Rutube ID Parser
Для затравки скармливается ID одного видео. Далее шаблон парсит ID рекомендуемых видео.
Сначала следует напарсить ID. У меня получилось около 2.5 млн за неделю. Затем запускаем шаблон с парсингом видео. По идее, оба шаблона могут работать вместе - парсинг ID всегда будет идти быстрее, чем описаний и названий.
Данные сохраняются в БД MySQL, т.к. хранить в файлах такое огромное количество информации просто неоптимально. Для работы потребуется установить саму БД и phpmyadmin (опционально, для удобства).
Способ установки №1
Скачать инсталлер на https://dev.mysql.com/downloads/installer/. Для phpmyadmin потребуется PHP и веб-сервер (Apache или nginx). Можно скачать готовые LAMP-сборки Wamp, Xampp etc.
Способ установки №2
Устанавливаем Docker Desktop. Подготавливаем файл docker-compose.yml, переходим в директорию с этим файлом и выполняем команду
Создаем таблицу с такой структурой:
Создаем уникальный индекс для video_id, чтобы избежать дублей. И, конечно же, primary индекс для автоинкремента.
Естественно, индексы нужно создать до заполнения таблицы данными.
БД готова. Добавляем одну запись ручками с первым ID. https://rutube.ru/video/b95b7041ad1c3dbde2730be0496ab7cb/ - выделил ID. Берем любое видео и копируем ID. Далее запускаем Rutube ID Parser. Как только появилась хотя бы первая 1000, то можно запускать Rutube Video Parser.
- парсер описания и названия видео
- парсер рекомендуемых видео
Переходит в браузере на страницу с видео, выдергивает описание и название.
Rutube ID Parser
Для затравки скармливается ID одного видео. Далее шаблон парсит ID рекомендуемых видео.
Сначала следует напарсить ID. У меня получилось около 2.5 млн за неделю. Затем запускаем шаблон с парсингом видео. По идее, оба шаблона могут работать вместе - парсинг ID всегда будет идти быстрее, чем описаний и названий.
Данные сохраняются в БД MySQL, т.к. хранить в файлах такое огромное количество информации просто неоптимально. Для работы потребуется установить саму БД и phpmyadmin (опционально, для удобства).
Способ установки №1
Скачать инсталлер на https://dev.mysql.com/downloads/installer/. Для phpmyadmin потребуется PHP и веб-сервер (Apache или nginx). Можно скачать готовые LAMP-сборки Wamp, Xampp etc.
Способ установки №2
Устанавливаем Docker Desktop. Подготавливаем файл docker-compose.yml, переходим в директорию с этим файлом и выполняем команду
docker-compose up. После запуска контейнеров pma будет доступен по адресу localhost:8080.Создаем таблицу с такой структурой:
Создаем уникальный индекс для video_id, чтобы избежать дублей. И, конечно же, primary индекс для автоинкремента.
Естественно, индексы нужно создать до заполнения таблицы данными.
БД готова. Добавляем одну запись ручками с первым ID. https://rutube.ru/video/b95b7041ad1c3dbde2730be0496ab7cb/ - выделил ID. Берем любое видео и копируем ID. Далее запускаем Rutube ID Parser. Как только появилась хотя бы первая 1000, то можно запускать Rutube Video Parser.
- Номер конкурса шаблонов
- Двенадцатый конкурс шаблонов
Для запуска проектов требуется программа ZennoPoster или ZennoDroid.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...
Для того чтобы запустить шаблон, откройте нужную программу. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.
Последнее редактирование модератором:
