2 место Парсинг открытой информации с YouTube через APIv3 в MySQL

[Лев]

Естественно, что вне зависимости нравится кому-то это или нет - ролики будут появляться

Ага, только сложно найти человека в этом мире, кому бы это понравилось.

 

[AlexGoodWeb]

... в течении пол года я стал обладателем 6 лицензий на Зеннопостер ПРО и прокачал КапМонстр2 до 180 потоков

... по одному комплекту ZennoPoster PRO + CM2 в месяц ... круто )

 

[Gfoblin]

Мне было важно в любой конкретный момент времени иметь возможность наблюдать какие результаты выдают мои шаблоны у меня и у людей у которых работали мои шаблоны. Так в вот тогда я узнал что у баз данных есть такая штука как превышение лимита входящих подключений (6 серверов в 350 потоков которые подключались к базе каждую минуту примерно выдерживала, но подключить больше серверов к одной базе я не знал как - вероятно нужно было на сервере устанавливать PHP и обращаться к скрипту - чтобы количество одновременных подключений не превышать - но я с этим еще не разобрался).

my.cfg
max_user_connections = 1000
max_connections = 1500

После этого рестарт базы
И наверное в зенке надо коннекты закрывать, тут правда точно не скажу, может сама зыкрывает она их, а может и нет )

 

[YrKa]

Юрий, спасибо. хорошая статья и канал.
пс. заставка на роликах у вас похожа на заставку в ералаше) +

 

[Valiksim]

aliksim, да, изучал в институте, курсовой проект делал по базам данных - но там работа не была с MySQL - и относился я тогда к базам данных примерно как к программе Excel (не видел существенной разницы, более того мне Excel тогда казался удобнее).

Круто. Теперь понятно, откуда знания. А я вот на курсы трактористов пошёл, думал научат MySQL, так нет же, не научили...

 

[BAZAg]

Народ сори за офтоп, а нету жеж фида у ютьюба или я чето пропустил, ну там допустим все видосы за последний день только парсить?

Сначала шлем запрос с шаблона 001, потом шлем запрос с шаблона 002. Если в списке есть вчерашняя дата - останавливаем. Если нет - берем следующую страничку с токеном (если токен есть).
Или без АПИ - подписываемся на канал. Получаем RSS - и получаем ролики таким образом, но - мне не понравился такой подход - API удобнее.

 

[BAZAg]

Ага, только сложно найти человека в этом мире, кому бы это понравилось.

Значит больше клиентов потенциальных будет - когда людям не нравится - они стараются уйти с ролика - и делают это через похожие видео, через рекламу или через ссылки под видео.

... по одному комплекту ZennoPoster PRO + CM2 в месяц ... круто )

Да, я сам честно говоря в шоке что столько денег вкладывал в это предприятие

my.cfg
max_user_connections = 1000
max_connections = 1500

После этого рестарт базы
И наверное в зенке надо коннекты закрывать, тут правда точно не скажу, может сама зыкрывает она их, а может и нет )

350 потоков - это 350 соединений * 6 серверов = 2100 соединений. Итого - это количество держит нормально. А вот если например 100 клиентов - то как работать? Я думаю выход только в PHP, но сейчас у меня нет необходимости искать решение - с кранами больше не работаю.

 

[Gfoblin]

350 потоков - это 350 соединений * 6 серверов = 2100 соединений. Итого - это количество держит нормально. А вот если например 100 клиентов - то как работать? Я думаю выход только в PHP, но сейчас у меня нет необходимости искать решение - с кранами больше не работаю.

Пока базу вашу не смотрел, но скорее всего там надо просто кол-во коннектов увеличить в конфиге, ну на крайняк индексы выставить гденить и будет бегать и в 10к коннектов!
Вот апи_кей где брать, я просто не полностью прочел статью говорю честно?

P.S. Сам нечто подобное не первый год хочу сделать, но полностью на пыхе.

 

[Valiksim]

Вот апи_кей где брать, я просто не полностью прочел статью говорю честно?

Видео смотри. Правда, оно под спойлером, но, там где "Планирование" или вот ссылка

Спойлер: Видео Как получить API Youtube

Тут повтор

 

[BAZAg]

Пока базу вашу не смотрел, но скорее всего там надо просто кол-во коннектов увеличить в конфиге, ну на крайняк индексы выставить гденить и будет бегать и в 10к коннектов!
Вот апи_кей где брать, я просто не полностью прочел статью говорю честно?

P.S. Сам нечто подобное не первый год хочу сделать, но полностью на пыхе.

Где получить ключ API для работы с YouTube - здесь инструкция:

Избавиться от ограничений по количеству подключений к базе было бы замечательно.
К сожалению правка конфига не решила мою проблему (когда мне это было необходимо) - и дальше я просто прекратил искать решение этой проблемы.

 

[Gfoblin]

К сожалению правка конфига не решила мою проблему (когда мне это было необходимо) - и дальше я просто прекратил искать решение этой проблемы.

Рестарт был базы после правки?
Какие ошибки вываливались?

Там миллион запросов на api_key вам хватало или у вас несколько было? )

 

[Valiksim]

Избавиться от ограничений по количеству подключений к базе было бы замечательно.

Интересно, собирается огромное количество информации, куда и как ты её применяешь? И какой с этого выхлоп?
Некоторое время с Ютубом работал, нашёл много "фишек" как можно получать плюшки гораздо меньшими усилиями. Причём рекламировал, в основном товарку и прочую хрень. На рекламах с партнёрок заработать много не удалось, стали гасить в одно время все каналы, плюнул

 

[BAZAg]

Рестарт был базы после правки?
Какие ошибки вываливались?

Менял конфиг пол года назад, когда решалась рекаптча ассоциации через базу данных (вродебы Вы выкладывали решение на PHP, которое было переписано под прямые запросы с Зеннопостера).
Даже сервер перезагружал. Ошибка: превышен лимит количества подключения к базе данных - тогда каждый знакомый установил себе копию базы данных.
Сейчас у меня нет такого количества серверов, чтобы забить лимит входящих подключений.

Квоты мне было достаточно - но при необходимости думаю можно получить несколько ключей на разную почту.

Интересно, собирается огромное количество информации, куда и как ты её применяешь?

Я качал данные для возможности получения выборки информации по интересующих меня параметрах. Результатов в денежном эквиваленте у меня нет

 

[Gfoblin]

Квоты мне было достаточно - но при необходимости думаю можно получить несколько ключей на разную почту.

я просто для поиска изображений через api их несколько штук создавал, под одним акком, но там смешной лимит 100 в сутки чтоли терь

Eще вопрос по ходу возник, сори может и описывали, там юзер может запретить воспроизведение на чужих сайтах, в api эта проверка есть?
Спасибо.

 

[zennoX]

И так в течении пол года я стал обладателем 6 лицензий на Зеннопостер ПРО и прокачал КапМонстр2 до 180 потоков и окупил вложения.

А мог бы просто выписать себе боксы)


За статью лайк!

 

[Koqpe]

А мог бы просто выписать себе боксы)

На один сервер можно установить 15 своих боксов?

 

[Gfoblin]

На один сервер можно установить 15 своих боксов?

если про версия серваков неверное тоже было 6 ))

 

[BAZAg]

я просто для поиска изображений через api их несколько штук создавал, под одним акком, но там смешной лимит 100 в сутки чтоли терь

Eще вопрос по ходу возник, сори может и описывали, там юзер может запретить воспроизведение на чужих сайтах, в api эта проверка есть?
Спасибо.

Хм... Не совсем понял этот момент по поводу поиска изображений через API Youtube - но лимит есть и снимается либо созданием множества ключей, либо оплатой платной версии (300 долларов вродебы).
Поле статусов есть - но данный параметр отвечает скорее всего личное это видео или публичное или с доступом по ссылке.

А мог бы просто выписать себе боксы)

Зеннобокс выдает максимум 20 потоков, а мне необходимо было 250-350 потоков. Для каждого Зеннопостера покупались выделенные сервера по 128ГБ ОЗУ.

 

[zennoX]

На один сервер можно установить 15 своих боксов?

На один сервер можно установить 15 своих ПРОшек?

Зеннобокс выдает максимум 20 потоков, а мне необходимо было 250-350 потоков. Для каждого Зеннопостера покупались выделенные сервера по 128ГБ ОЗУ.

А вот это уже ответ не мальчика, но мужа (с)

 

[BAZAg]

Замените пожалуйста изображения в шапке темы - статья не доступна на редактирование.
Картинки добавил к данному сообщению.

 

[Troll_UA]

Очень полезная статья, оригинальное оформление. Автор явно получит мой голос.

 

[seoBB]

Зеннобокс выдает максимум 20 потоков, а мне необходимо было 250-350 потоков. Для каждого Зеннопостера покупались выделенные сервера по 128ГБ ОЗУ.

Неужели биткоин краны были настолько прибыльными что окупали такие вложения? я не в курсе той движухи, расскажите плз

 

[DmitryAk]

mRemoteNG

О! От души признателен. Удобная штука, давно искал подобное.

 

[BAZAg]

seoBB, когда я начал работать с кранами, то даже в 10 потоков запуская Зеннопостер можно было зарабатывать 10 долларов в сутки. Потом цена менялась + тема масштабировалась (прежде научился потоки увеличивать до необходимого количества, а когда уже увидел, что технически увеличивать потоки уже некуда - начал покупать сервера и докупать лицензии). Но, пропорционально с увеличением масштаба уменьшалась сумма заработка.
DmitryAk, Спасибо.

 

[Valiksim]

Но, пропорционально с увеличением масштаба уменьшалась сумма заработка.

А почему? твои потоки создали сами себе конкуренцию?

А сейчас это всё работает? (если не секрет. Если секрет,- можно на ушко?)

 

[BAZAg]

Было много разных причин. Об этом я уже говорил здесь.
Я не работаю в этом направлении более чем пол года - не могу знать что кардинально поменялось, а что осталось как было...

 

[Valiksim]

Об этом я уже говорил здесь.

Спасибо. В своё время не очень я тщательно изучил эту тему. Почитаю, посмотрю видео. Многие твои видео уже просмотрел. Есть над чем работать.

 

[BAZAg]

Спасибо. В своё время не очень я тщательно изучил эту тему. Почитаю, посмотрю видео. Многие твои видео уже просмотрел. Есть над чем работать.

В теме, на которую я дал ссылку есть ролики, которые не отображаются в общем доступе на ютуб канале - чисто для ознакомления забросил, чтобы было понятно с каких шаблонов начинал, на каких закончил, и описал что если примудрить решение через пост/гет, то в этом случае тема будет актуальной еще долго - но мне она уже не интересна.

 

[Valiksim]

но мне она уже не интересна

Чего так? Перешёл на что-то более крутое?

 

[Donmid]

Зачёт. Голосую.