Работа с YouTube

[Budda]

Можно ли как-то облегчить шаблон работающий с видео на YouTube?
Подобный шаблон получается крайне ресурсозатратным. При 5-ти потоках, компьютер работает почти на переделе.

Мне нужно парсить всплывающую рекламу на видео и правый рекламный блок. Что можно отключить дабы понизить нагрузку на ЦП, но при этом оставить всплывающую рекламу и правый блок?

 

[GrandT]

Перевести все на GET/POST запросы. Вам потребуется Charles Proxy (найдете на торрентах). Установите его, добавьте в "SSL Proxying Settings" *youtube.com и *doubleclick.net .
Загрузите страницу с видео и смотрите какие идут запросы. В основном будут сыпаться запросы на графику, скрипты, аналитику. Но среди всей кучи найдете 3-5 запросов которые идут, к примеру, на doubleclick.net (вроде как на googleads.g.doubleclick.net). Проследите от начала до конца общение браузера с данным сервером - что получает, что отправляет. Повторите все в гет/пост запросах на зенке, отключив в настройках использование браузера. Думаю, весь ваш шаблон укладется в цепочку из 5-7 гет/пост и экшенов обработки текста. Скорость работы 1 потока при средней скорости инета - 1 страница в 2-4 секунды. При 5 потоках загрузка ресурсов компа 5-10%. Плюс потребление трафика минимальное - видео, флеш, графика и скрипты игнорируются
Денёк повозитесь, зато наберетесь ценного опыта и ресурсы компа освободите для других задач.
По мере возникновения вопросов пишите на форуме, поможем.

 

[Nick]

Ух ты, это прокликивание рекламы по cpa? Говорят, геморройно отчёты лепить, да и корпорация добра не дремлет

 

[Budda]

Перевести все на GET/POST запросы. Вам потребуется Charles Proxy (найдете на торрентах). Установите его, добавьте в "SSL Proxying Settings" *youtube.com и *doubleclick.net .
Загрузите страницу с видео и смотрите какие идут запросы. В основном будут сыпаться запросы на графику, скрипты, аналитику. Но среди всей кучи найдете 3-5 запросов которые идут, к примеру, на doubleclick.net (вроде как на googleads.g.doubleclick.net). Проследите от начала до конца общение браузера с данным сервером - что получает, что отправляет. Повторите все в гет/пост запросах на зенке, отключив в настройках использование браузера. Думаю, весь ваш шаблон укладется в цепочку из 5-7 гет/пост и экшенов обработки текста. Скорость работы 1 потока при средней скорости инета - 1 страница в 2-4 секунды. При 5 потоках загрузка ресурсов компа 5-10%. Плюс потребление трафика минимальное - видео, флеш, графика и скрипты игнорируются
Денёк повозитесь, зато наберетесь ценного опыта и ресурсы компа освободите для других задач.
По мере возникновения вопросов пишите на форуме, поможем.

У меня мурашки пошли после прочтения Вашего комментария) Столько «долбился» над шаблоном... Раз сто прогнал и думал что закончил. Хотел внести небольшие изменения, а тут на тебе)
Я давно хотел познакомится с POST/GET запросами, но как-то не задавалось. Видимо время пришло)

Просто нет подходящего мануала. Все воспринимают это как само собой разумеющееся и скорее всего даже не знают что объяснять в таком, как им кажется, элементарном действии.

Два вопроса:
Rostonix всем рекомендуют пользоваться "Fiddler-ом", вы же написали о "Charles Proxy". Еще не разбирался, но насколько понял, они выполняют почти одни и те же действия, верно? Что лучше?

Где-то на форуме прочел, что далеко не все задачи можно решить с посощью get/post запросов. К примеру писать подобный шаблон для VK - сплошной геморрой.
Можете в двух словах рассказать, для каких целей лучше использовать get/post? Мне нужно прокликивать рекламу на YouTube и в последствии собирать внутренние ссылки рекламных сайтов, на которые был произведен переход. Это возможно?

P.S. Если что "пардон". Не представляю о чем пишу))

 

[GrandT]

У меня мурашки пошли после прочтения Вашего комментария) Столько «долбился» над шаблоном... Раз сто прогнал и думал что закончил. Хотел внести небольшие изменения, а тут на тебе)
Я давно хотел познакомится с POST/GET запросами, но как-то не задавалось. Видимо время пришло)

Просто нет подходящего мануала. Все воспринимают это как само собой разумеющееся и скорее всего даже не знают что объяснять в таком, как им кажется, элементарном действии.

Два вопроса:
Rostonix всем рекомендуют пользоваться "Fiddler-ом", вы же написали о "Charles Proxy". Еще не разбирался, но насколько понял, они выполняют почти одни и те же действия, верно? Что лучше?

Где-то на форуме прочел, что далеко не все задачи можно решить с посощью get/post запросов. К примеру писать подобный шаблон для VK - сплошной геморрой.
Можете в двух словах рассказать, для каких целей лучше использовать get/post? Мне нужно прокликивать рекламу на YouTube и в последствии собирать внутренние ссылки рекламных сайтов, на которые был произведен переход. Это возможно?

P.S. Если что "пардон". Не представляю о чем пишу))

Что фидлер, что чарли - разницы нет. Есть еще куча методов просматривать запросы браузера, в т.ч. с помощью расширений.
Прокликивание подразумевает очень высокую степень эмуляции, поэтому тут даже обычный шаблон с использованием браузера нужно пилить так, чтоб была полная эмуляция человеческого поведения. На гет/пост такой шаблон сделать нереально. Гет/пост лучше всего подходят там, где не нужно эмулировать поведение человека, где сама структура сайта позволяет их использовать. Для этого нужно снифать фидлером/чарлзом трафик нужного сайта и делать выводы. Иногда скрипты сайта общаются со своими серверами через API - вот это как раз тот удобный вариант, который можно использовать. Например, аннотации ютуба публикуются через API, и если вы размещаете ролики, то в несколько POST запросов можете опубликовать любые аннотации, вместо долгих действий мыши. Переводчик Bing общается с сервером также через свой API, перехватив и разобрав запросы которого, вы получаете бесплатный доступ к API сервера переводов майкрософта, за который последний просит немалые гроши. И так почти на любом сайте. Просто каждый требует различных усилий.
Все более-менее серьезные соц.сети сейчас защищены, так что для них сделать шаб на гет/пост нереально, хотя теоретически возможно, и есть некоторые умельцы, кто их обуздал.
Идеальные кандидаты под гет/пост - доски объявлений, движки форумов, CMS и т.п.

 

[Budda]

Что фидлер, что чарли - разницы нет. Есть еще куча методов просматривать запросы браузера, в т.ч. с помощью расширений.
Прокликивание подразумевает очень высокую степень эмуляции, поэтому тут даже обычный шаблон с использованием браузера нужно пилить так, чтоб была полная эмуляция человеческого поведения. На гет/пост такой шаблон сделать нереально. Гет/пост лучше всего подходят там, где не нужно эмулировать поведение человека, где сама структура сайта позволяет их использовать. Для этого нужно снифать фидлером/чарлзом трафик нужного сайта и делать выводы. Иногда скрипты сайта общаются со своими серверами через API - вот это как раз тот удобный вариант, который можно использовать. Например, аннотации ютуба публикуются через API, и если вы размещаете ролики, то в несколько POST запросов можете опубликовать любые аннотации, вместо долгих действий мыши. Переводчик Bing общается с сервером также через свой API, перехватив и разобрав запросы которого, вы получаете бесплатный доступ к API сервера переводов майкрософта, за который последний просит немалые гроши. И так почти на любом сайте. Просто каждый требует различных усилий.
Все более-менее серьезные соц.сети сейчас защищены, так что для них сделать шаб на гет/пост нереально, хотя теоретически возможно, и есть некоторые умельцы, кто их обуздал.
Идеальные кандидаты под гет/пост - доски объявлений, движки форумов, CMS и т.п.

Я Вам крайне благодарен за то что предложили воспользоваться POST/GET!)) Не знаю, в ином случае, через сколько бы месяцев освоил этот экшен.
Это на самом деле просто. Нужно всего лишь чуть покопаться и узнать основные понятия. Я как и все остальные, тупо не знал с чего начать)

 

[Budda]

Прошло два дня... Что-то результаты меня не радуют. Никак не могу найти то что нужно.

Знающие люди, подскажите пожалуйста. Возможно ли собрать рекламные ссылки (всплывающую рекламу на видео и блок справа) с помощью get запроса? Именно (googleadservices.com/pagead/aclk) и там далее.
Нашел googleads.g.doubleclick, но после идет непонятное для меня...

Хотя бы напишите можно это сделать. или нельзя. Если да, продолжу искать дальше, ну а если нет, что бы не мучился)))

 

[GrandT]

Прошло два дня... Что-то результаты меня не радуют. Никак не могу найти то что нужно.

Знающие люди, подскажите пожалуйста. Возможно ли собрать рекламные ссылки (всплывающую рекламу на видео и блок справа) с помощью get запроса? Именно (googleadservices.com/pagead/aclk) и там далее.
Нашел googleads.g.doubleclick, но после идет непонятное для меня...

Хотя бы напишите можно это сделать. или нельзя. Если да, продолжу искать дальше, ну а если нет, что бы не мучился)))

Эхх, моя вина, устроил вам гемор)
Да, тут не все так просто судя по всему

Короче, глянул одним глазком

Ответ на этот запрос содержит данные объявления:



Теперь нужно сформировать этот запрос, подставляя нужные данные. Основная масса этих данных, судя по всему, находится в коде страницы ролика между 'ADS_DATA': и 'PLAYBACK_ID'



Сам запрос работает, даже если его вставить в адресную строку браузера. В ответ приходит XML с данными объявления. Значит проблем быть не должно.
Короче стратегия такая:
1) GET запрос исходной страницы https://www.youtube. com/watch?v=XXXXXXX
2) Парсим необходимые значения со страницы
3) Подставляем значения в запрос https://googleads.g.doubleclick.net/pagead/ads?ad_block......
4) Получаем XML и парсим данные объявления
Возможно придется сделать еще несколько промежуточных GET-запросов для получения некоторых данных.

 

[Roman*]

А есть возможность показать, авторизацию и загрузка ролика на ютубик на пост запросе? Было бы очень познавательно посмотреть, особенно если со скринами или куском шаблончика.

 

[Budda]

Эхх, моя вина, устроил вам гемор)
Да, тут не все так просто судя по всему

Короче, глянул одним глазком

Ответ на этот запрос содержит данные объявления:

Посмотреть вложение 9371

Теперь нужно сформировать этот запрос, подставляя нужные данные. Основная масса этих данных, судя по всему, находится в коде страницы ролика между 'ADS_DATA': и 'PLAYBACK_ID'

Посмотреть вложение 9372

Сам запрос работает, даже если его вставить в адресную строку браузера. В ответ приходит XML с данными объявления. Значит проблем быть не должно.
Короче стратегия такая:
1) GET запрос исходной страницы https://www.youtube. com/watch?v=XXXXXXX
2) Парсим необходимые значения со страницы
3) Подставляем значения в запрос https://googleads.g.doubleclick.net/pagead/ads?ad_block......
4) Получаем XML и парсим данные объявления
Возможно придется сделать еще несколько промежуточных GET-запросов для получения некоторых данных.

Я реально безмерно Вам благодарен за помощь и скажите пожалуйста если я начну сильно доставать))

Мне кажется у меня какие-то проблемы с софтом, или что-то не так настроено на компе.
Поставил Charles Trial версию. Везде отображается сплошной CONNECT метод, ни единого GET. И всюду эти замки высвечиваются, и в Charles, и в Fiddler.



Кстати чарли удобно подсвечивает активность. Когда в видео на 10-й секунде показалась реклама, чарли подсветил три объекта. В fiddler такой примочки нет)

 

[Budda]

А есть возможность показать, авторизацию и загрузка ролика на ютубик на пост запросе? Было бы очень познавательно посмотреть, особенно если со скринами или куском шаблончика.

Для авторизации, просто загружаете ранее сохраненный профиль и сразу заходите на сайт под своим логином.
Загружать видео тоже можно. После нажатие на кнопку "Опубликовать", нужно смотреть какие запросы были отправлены.
Вряд ли вам кто-то скинет готовый шаблон)

Сам не делал, так как мозгов пока маловато, но видел как делают на примере загрузки фото в файлообменник. Если нужно видео - пишите в личку, дам ссылку.

 

[GrandT]

добавьте в "SSL Proxying Settings" *youtube.com и *doubleclick.net

 

[GrandT]

А есть возможность показать, авторизацию и загрузка ролика на ютубик на пост запросе? Было бы очень познавательно посмотреть, особенно если со скринами или куском шаблончика.

Не думаю, что это хорошая идея. И даже боюсь предсказать, насколько она реализуема и как быстро ютуб забанит акк. Но если все же есть желание попробовать, то можно один раз авторизоваться в браузере, сохранить профиль и подставлять его в настройках GET/POST. Так будет меньше проблем с куками. Я использую GET/POST только для публикации аннотаций, так как для них у ютуба есть API. Вот этот запрос http://zennolab.com/discussion/threads/kak-ukazat-koordinaty-dlja-annotacij-v-video-na-jutube.20481/#post-141555

 

[Budda]

Посмотреть вложение 9386

Когда прописываю *youtube.com, в браузере вылетает такая ошибка.


Вот создал тему для Fiddler. Поставил пару галочек и запросы пошли, но ... (http://zennolab.com/discussion/threads/voprosy-po-ispolzovaniju-feddler.21801/#post-145318)

 

[GrandT]

В обычных браузерах, тем более обновленных вряд ли получится подменить сертификат ютуба. Любой SSL Proxy работает по типу MITM-атаки, то есть подменяя сертификат. Поэтому все более-менее адекватные браузеры предупреждают пользователя, а иногда вообще не пускают. Используйте браузер зенки для работы. Хотя можно и браузеры заставить, если есть лишнее время.

 

[Budda]

В обычных браузерах, тем более обновленных вряд ли получится подменить сертификат ютуба. Любой SSL Proxy работает по типу MITM-атаки, то есть подменяя сертификат. Поэтому все более-менее адекватные браузеры предупреждают пользователя, а иногда вообще не пускают. Используйте браузер зенки для работы. Хотя можно и браузеры заставить, если есть лишнее время.

слава богу что есть IE! Ему плевать на остальных)))) Только на нем и заходит)

 

[Roman*]

Пишите по больше свои тесты, тема нужная, забыл сказать, что лучше IE и https врубать надо для сайтов с https, чтоб снифало нормально. Если что кидайте скрины и видяхи, будет полезно.

 

[Budda]

Что-то я не пойму) С протоколами вроде разобрались.

Попробовал использовать фидлер с браузером Зенки. Вот что получается:

Проходят только тунели и пара картинок. Иногда вылетает такая ошибка:


Прокси, порты, что это?)

На IE все работает отлично. Продолжил бы на нем, но там не очень удобно вытаскивать ссылки из под баннеров.

P.S. Я лезу туда, куда еще не лазил) Именно по этому такая огромная лавина элементарных вопросов)))

 

[Dimionix]

...на порошке Палево!

 

[Budda]

В общем фиг с этим firefox в зенке) Использую IE.

Нашел нужную мне строку. Это рекламный беннер справа.

По идеи, дальше я парсю результат запроса и добавляю впереди (https://googleads.g.doubleclick.net). Получается готовая ссылка.
Но если я делаю GET запрос через zp, этой строки там нет. Ищу по выражению "/aclk?sa", но ничего. Почему так?

Этот баннер не статичен и появляется позже? С этим можно что-то сделать?

 

[GrandT]

Это не тот запрос, см. на первом скрине, который я скинул
Адрес должен начинаться с /pagead/ads?ad_block=2&ad_type=text_image_flash&adk=....
То есть ad_type судя по всему должен присутствовать в каждом URL, который ссылается на XML файл с данными объявления. То бишь, text_image_flash может меняться на что нить другое

 

[GrandT]

"/aclk?sa" это откуда вообще? Из исходника страницы?

 

[Budda]

"/aclk?sa" это откуда вообще? Из исходника страницы?

ага)

 

[GrandT]

В исходник в данном случае лучше не лезть - можно запутаться. Все что нужно - это XML файл с объявлением, который в исходнике светиться не будет

 

[Budda]

Тему можно удалять. В **** её. Если никто не знает, я и подавно. Надоело. Уже бесить начинает!

Те кто помогали, огромное Вам спасибо!!!

 

[GrandT]

Короче, порядок анализа такой.
Я открываю два разных ролика с рекламой и ищу нужный мне запрос в списке.
Нахожу в каждом /pagead/ads?ad_block=2&ad_type=text_image_flash&adk=....
Вот эти два запроса для каждого ролика. Их уже можно вставить в гет-запрос и они должны отдать XML файлы в ответ (без всяких куков, рефереров и пр.). Проверяем - работает.

https://googleads.g.doubleclick.net/pagead/ads?ad_block=2&ad_type=text_image_flash&adk=4273911431&ca_h=250&ca_type=flash&ca_w=300&channel=yt_mpvid_xRb3ZadsTrvJkyYL%2Byt_cid_154%2Byt_no_ap%2Byt_no_360%2Bytdevice_1%2Bytdevicever_20150902%2Byt_no_cp%2Bafv_user_id_aWd5_7JhbQBe4dknZhsHJg%2Bafv_user_watchmojo%2Bytel_detailpage%2Bytps_default%2BVertical_3%2BVertical_34%2BVertical_36%2BVertical_211%2BVertical_613%2BVertical_1097%2Bafv_overlay%2Binvideo_overlay_480x70_cat24&client=ca-pub-6219811747049371&correlator=1441633133729&dbp=ChZKaWVJRWQ0dVNmX3pvbW5HYTNSa1JREAE&dt=1441633134830&ea=0&flash=18.0.0.232&frm=0&hl=en&host=ca-host-pub-1246501525141480&ht_id=4715298&image_size=480x70%2C468x60%2C450x50&lact=9&loeid=9405994%2C9408086%2C9409205%2C9415357%2C9415436%2C9416326%2C9416343%2C9417082%2C9417158%2C9417701%2C9417912%2C9418349%2C9419785%2C9419817%2C9419832%2C9420019%2C9420325&num_ads=1&osd=6&output=xml_vast3&scs=false&sdki=8000405&sdkv=3.0.0&sdr=1&sz=640x325&t_pyv=allow&targeting=content&u_ah=1040&u_asa=1&u_aw=1920&u_cd=24&u_h=1080&u_his=4&u_java=true&u_nmime=86&u_nplug=12&u_tz=360&u_w=1920&unviewed_position_start=1&url=http%3A%2F%2Fwww.youtube.com%2Fvideo%2F58kDMw779xc&video_doc_id=yt_58kDMw779xc&video_product_type=5&video_url_to_fetch=http%3A%2F%2Fwww.youtube.com%2Fvideo%2F58kDMw779xc&videoad_start_delay=1&yt_pt=APb3F2-3aRt9RhCpKRW35mnDmIx5PXo9rF5cl6JPwCwGsTRQC4rlBripzmQMHIqo1KFZS5MEB-FIn8YeiSZMi_xPIA3kVoPUXqVZNMvYk2yohlX4TVFHLDeVDOrgDsaQnX2ypfjE_15pXhplMohyfym_q0MoccE6gsleBwVOeg&ytdevice=1&ytdevicever=20150902

https://googleads.g.doubleclick.net/pagead/ads?ad_block=2&ad_type=text_image_flash&adk=4273911431&ca_h=250&ca_type=flash&ca_w=300&channel=yt_mpvid_VqfXa4ZvwhhCUp7c%2Byt_cid_9286339%2Byt_no_ap%2Byt_no_360%2Bytdevice_1%2Bytdevicever_20150902%2Bafv_user_id_dxi8d8qRsRyUi2ERYjYb-w%2Bytel_detailpage%2Bytps_default%2BVertical_3%2BVertical_33%2BVertical_36%2BVertical_67%2BVertical_203%2BVertical_211%2BVertical_613%2Bafv_overlay%2Binvideo_overlay_480x70_cat27&client=ca-pub-6219811747049371&correlator=1441637169135&dbp=ChZsV2stUlQ4VllJUFBBV25zZjhSel93EAE&dt=1441637170119&ea=0&flash=18.0.0.232&frm=0&hl=en&host=ca-host-pub-2825656306639891&ht_id=5079491&image_size=480x70%2C468x60%2C450x50&lact=1713&loeid=9405994%2C9408086%2C9409205%2C9415357%2C9415436%2C9416326%2C9416343%2C9417082%2C9417158%2C9417701%2C9417912%2C9418349%2C9419785%2C9419817%2C9419832%2C9420019%2C9420325&num_ads=1&osd=6&output=xml_vast3&scs=false&sdki=8000405&sdkv=3.0.0&sdr=1&sz=640x360&t_pyv=allow&targeting=content&u_ah=1040&u_asa=1&u_aw=1920&u_cd=24&u_h=1080&u_his=7&u_java=true&u_nmime=86&u_nplug=12&u_tz=360&u_w=1920&unviewed_position_start=1&url=http%3A%2F%2Fwww.youtube.com%2Fvideo%2FybqDzhaKH4A&video_doc_id=yt_ybqDzhaKH4A&video_product_type=5&video_url_to_fetch=http%3A%2F%2Fwww.youtube.com%2Fvideo%2FybqDzhaKH4A&videoad_start_delay=1&yt_pt=APb3F2_W6UW4miP5iJmBZV1P-w6uAI3QHOPuofnsp28-YAl4YBRLNJrwb4zRpQldVE-HcVfe3_0QR6gIY5mO3JqZOUyoyPi9KlutP-VVVbU7R-yOJt6BYonH2QgMxhNEhK82n_cfR4Oy7RFkIxUdwfZtfw8ogj9PUEfssXxB0Q&ytdevice=1&ytdevicever=20150902

Почему я взял именно 2 запроса? Для сравнения. Так проще вычислить изменяемые и постоянные параметры.
Теперь нам нужно сформировать запрос для любого видеоролика. Для этого сравниваем эти два запроса между собой и смотрим какие параметры у них разные а какие одинаковы. Одинаковые парметры не трогаем.
Те параметры, которые меняются мы должны заменить на нужные. Для этого делаем гет на необходимый ролик. Получаем код страницы. Одновременно вставляем этот же ролик в браузере зенки (прокси должен быть установлен на Fiddler или Charles). Находим опять же в сниффере наш запрос (тот самый ad_block=2&ad_type=text_image_flash), берем значения изменяемых параметров (которые мы вычислили с помощью сравнения тех двух запросов) и ищем их в исходном коде страницы, полученном гет-запросом на ролик ранее. Находим и врубаемся, что где находится

Большинство нужных нам параметров будут в этом фрагменте:

 'ADS_DATA': {"show_afc":false,"gut_vars":{"tag":"\/4061\/ytpwatch"},"use_gut":true,"afv_vars":{"google_ad_channel":"yt_mpvid_GVifn8DdkhDGUDvF+yt_cid_154+yt_no_ap+yt_no_360+ytdevice_1+ytdevicever_20150902+yt_no_cp+afv_user_id_aWd5_7JhbQBe4dknZhsHJg+afv_user_watchmojo+ytel_detailpage+ytps_default+0854550288+Vertical_3+Vertical_34+Vertical_36+Vertical_211+Vertical_613+Vertical_1097","google_cust_gender":"","google_ad_client":"ca-pub-6219811747049371","google_alternate_ad_url":"https:\/\/www.youtube.com\/ad_frame?id=watch-channel-brand-div","google_eids":["56702026"],"google_ad_block":"2","google_core_dbp":"ChZKaWVJRWQ0dVNmX3pvbW5HYTNSa1JREAE","google_language":"en","google_ad_height":"250","google_video_doc_id":"yt_58kDMw779xc","google_ad_host":"ca-host-pub-1246501525141480","google_tag_for_child_directed_treatment":"","google_ad_host_tier_id":"4715298","google_targeting":"content","google_loeid":"9406127,9406821,9408510,9409208,9415031,9415867,9417354,9417762,9418096,9419251,9420021","google_page_url":"http:\/\/www.youtube.com\/video\/58kDMw779xc","google_scs":"false","google_ad_format":"300x250_as","google_lact":"-1","google_yt_pt":"APb3F29h0hA3ycRlZagtKf5fMpWNNoVB0X4cMOQS8Z8RXg39KBap9kuUAUCLI-bIDVFMjGtn2RERrMf9b8fkYPYk1oLgAruhxH065KbSX4_5l4NteVOTHav8s1XQJm3vb8KXbZ1zoChr3zpPl8l0kYJFk4A97o_NoCspjxaSlQ","google_ad_type":"image","google_cust_age":""},"show_afv":true,"pyv_vars":{"iframe_json":"{\"google_video_doc_id\":\"\",\"google_ad_host_tier_id\":\"\",\"google_ad_channel\":\"\",\"google_cust_gender\":\"\",\"google_ad_host\":\"\",\"google_ad_client\":\"\",\"google_only_pyv_ads\":false,\"google_ad_output\":\"\",\"google_yt_pt\":\"\",\"google_lact\":\"\",\"google_eids\":\"\",\"google_page_url\":\"\",\"google_loeid\":\"\",\"google_ad_block\":\"\",\"google_core_dbp\":\"\",\"google_ad_type\":\"\",\"google_cust_age\":\"\",\"google_language\":\"\",\"google_max_num_ads\":0,\"google_tag_for_child_directed_treatment\":\"\"}"},"afc_vars":{"format":"300x250_as","ad_client":"ca-pub-6219811747049371","core_dbp":"ChZKaWVJRWQ0dVNmX3pvbW5HYTNSa1JREAE","ad_block":"2","language":"en","ad_host":"ca-host-pub-1246501525141480","ad_type":"image","ad_host_tier_id":"4715298","ad_channel":"yt_mpvid_GVifn8DdkhDGUDvF+yt_cid_154+yt_no_ap+yt_no_360+ytdevice_1+ytdevicever_20150902+yt_no_cp+afv_user_id_aWd5_7JhbQBe4dknZhsHJg+afv_user_watchmojo+ytel_detailpage+ytps_default+0854550287+afc_on_page+Vertical_3+Vertical_34+Vertical_36+Vertical_211+Vertical_613+Vertical_1097","video_doc_id":"yt_58kDMw779xc","tag_for_child_directed_treatment":"","lact":"-1","alternate_ad_url":"https:\/\/www.youtube.com\/ad_frame?id=watch-channel-brand-div"},"show_pyv":false,"check_status":false,"show_instream":false},

Например, параметр &host=ca-host-pub-1246501525141480 найдешь в "google_ad_host":"ca-host-pub-1246501525141480", и так далее.
Парсим все нужные параметры через экшен обработки текста, подставляем в запрос.
Проверяем, если на запрос приходит XML-текст, то все ОК и теперь можно подставлять идентификатор видео в запрос.
То что не найдешь во фрагменте 'ADS_DATA':, поищи на всей странице. То что вообще не найдешь, попробуй оставить как есть или поставить рандомное значение.
Я бы и сам уже сделал, мне просто лень сидеть и выписывать регулярки. Займет минут 30-40. Да и лучше самому набить шишки, чтоб потом гет/пост щелкать как орешки. Мой первый шаб на гет/пост я делал неделю или даже две. А сейчас сделал бы за полчаса.

 

[Ghisool]

Короче, порядок анализа такой.
Я открываю два разных ролика с рекламой и ищу нужный мне запрос в списке.
Нахожу в каждом /pagead/ads?ad_block=2&ad_type=text_image_flash&adk=....
Вот эти два запроса для каждого ролика. Их уже можно вставить в гет-запрос и они должны отдать XML файлы в ответ (без всяких куков, рефереров и пр.). Проверяем - работает.

https://googleads.g.doubleclick.net/pagead/ads?ad_block=2&ad_type=text_image_flash&adk=4273911431&ca_h=250&ca_type=flash&ca_w=300&channel=yt_mpvid_xRb3ZadsTrvJkyYL%2Byt_cid_154%2Byt_no_ap%2Byt_no_360%2Bytdevice_1%2Bytdevicever_20150902%2Byt_no_cp%2Bafv_user_id_aWd5_7JhbQBe4dknZhsHJg%2Bafv_user_watchmojo%2Bytel_detailpage%2Bytps_default%2BVertical_3%2BVertical_34%2BVertical_36%2BVertical_211%2BVertical_613%2BVertical_1097%2Bafv_overlay%2Binvideo_overlay_480x70_cat24&client=ca-pub-6219811747049371&correlator=1441633133729&dbp=ChZKaWVJRWQ0dVNmX3pvbW5HYTNSa1JREAE&dt=1441633134830&ea=0&flash=18.0.0.232&frm=0&hl=en&host=ca-host-pub-1246501525141480&ht_id=4715298&image_size=480x70%2C468x60%2C450x50&lact=9&loeid=9405994%2C9408086%2C9409205%2C9415357%2C9415436%2C9416326%2C9416343%2C9417082%2C9417158%2C9417701%2C9417912%2C9418349%2C9419785%2C9419817%2C9419832%2C9420019%2C9420325&num_ads=1&osd=6&output=xml_vast3&scs=false&sdki=8000405&sdkv=3.0.0&sdr=1&sz=640x325&t_pyv=allow&targeting=content&u_ah=1040&u_asa=1&u_aw=1920&u_cd=24&u_h=1080&u_his=4&u_java=true&u_nmime=86&u_nplug=12&u_tz=360&u_w=1920&unviewed_position_start=1&url=http%3A%2F%2Fwww.youtube.com%2Fvideo%2F58kDMw779xc&video_doc_id=yt_58kDMw779xc&video_product_type=5&video_url_to_fetch=http%3A%2F%2Fwww.youtube.com%2Fvideo%2F58kDMw779xc&videoad_start_delay=1&yt_pt=APb3F2-3aRt9RhCpKRW35mnDmIx5PXo9rF5cl6JPwCwGsTRQC4rlBripzmQMHIqo1KFZS5MEB-FIn8YeiSZMi_xPIA3kVoPUXqVZNMvYk2yohlX4TVFHLDeVDOrgDsaQnX2ypfjE_15pXhplMohyfym_q0MoccE6gsleBwVOeg&ytdevice=1&ytdevicever=20150902

https://googleads.g.doubleclick.net/pagead/ads?ad_block=2&ad_type=text_image_flash&adk=4273911431&ca_h=250&ca_type=flash&ca_w=300&channel=yt_mpvid_VqfXa4ZvwhhCUp7c%2Byt_cid_9286339%2Byt_no_ap%2Byt_no_360%2Bytdevice_1%2Bytdevicever_20150902%2Bafv_user_id_dxi8d8qRsRyUi2ERYjYb-w%2Bytel_detailpage%2Bytps_default%2BVertical_3%2BVertical_33%2BVertical_36%2BVertical_67%2BVertical_203%2BVertical_211%2BVertical_613%2Bafv_overlay%2Binvideo_overlay_480x70_cat27&client=ca-pub-6219811747049371&correlator=1441637169135&dbp=ChZsV2stUlQ4VllJUFBBV25zZjhSel93EAE&dt=1441637170119&ea=0&flash=18.0.0.232&frm=0&hl=en&host=ca-host-pub-2825656306639891&ht_id=5079491&image_size=480x70%2C468x60%2C450x50&lact=1713&loeid=9405994%2C9408086%2C9409205%2C9415357%2C9415436%2C9416326%2C9416343%2C9417082%2C9417158%2C9417701%2C9417912%2C9418349%2C9419785%2C9419817%2C9419832%2C9420019%2C9420325&num_ads=1&osd=6&output=xml_vast3&scs=false&sdki=8000405&sdkv=3.0.0&sdr=1&sz=640x360&t_pyv=allow&targeting=content&u_ah=1040&u_asa=1&u_aw=1920&u_cd=24&u_h=1080&u_his=7&u_java=true&u_nmime=86&u_nplug=12&u_tz=360&u_w=1920&unviewed_position_start=1&url=http%3A%2F%2Fwww.youtube.com%2Fvideo%2FybqDzhaKH4A&video_doc_id=yt_ybqDzhaKH4A&video_product_type=5&video_url_to_fetch=http%3A%2F%2Fwww.youtube.com%2Fvideo%2FybqDzhaKH4A&videoad_start_delay=1&yt_pt=APb3F2_W6UW4miP5iJmBZV1P-w6uAI3QHOPuofnsp28-YAl4YBRLNJrwb4zRpQldVE-HcVfe3_0QR6gIY5mO3JqZOUyoyPi9KlutP-VVVbU7R-yOJt6BYonH2QgMxhNEhK82n_cfR4Oy7RFkIxUdwfZtfw8ogj9PUEfssXxB0Q&ytdevice=1&ytdevicever=20150902

Почему я взял именно 2 запроса? Для сравнения. Так проще вычислить изменяемые и постоянные параметры.
Теперь нам нужно сформировать запрос для любого видеоролика. Для этого сравниваем эти два запроса между собой и смотрим какие параметры у них разные а какие одинаковы. Одинаковые парметры не трогаем.
Те параметры, которые меняются мы должны заменить на нужные. Для этого делаем гет на необходимый ролик. Получаем код страницы. Одновременно вставляем этот же ролик в браузере зенки (прокси должен быть установлен на Fiddler или Charles). Находим опять же в сниффере наш запрос (тот самый ad_block=2&ad_type=text_image_flash), берем значения изменяемых параметров (которые мы вычислили с помощью сравнения тех двух запросов) и ищем их в исходном коде страницы, полученном гет-запросом на ролик ранее. Находим и врубаемся, что где находится

Большинство нужных нам параметров будут в этом фрагменте:

 'ADS_DATA': {"show_afc":false,"gut_vars":{"tag":"\/4061\/ytpwatch"},"use_gut":true,"afv_vars":{"google_ad_channel":"yt_mpvid_GVifn8DdkhDGUDvF+yt_cid_154+yt_no_ap+yt_no_360+ytdevice_1+ytdevicever_20150902+yt_no_cp+afv_user_id_aWd5_7JhbQBe4dknZhsHJg+afv_user_watchmojo+ytel_detailpage+ytps_default+0854550288+Vertical_3+Vertical_34+Vertical_36+Vertical_211+Vertical_613+Vertical_1097","google_cust_gender":"","google_ad_client":"ca-pub-6219811747049371","google_alternate_ad_url":"https:\/\/www.youtube.com\/ad_frame?id=watch-channel-brand-div","google_eids":["56702026"],"google_ad_block":"2","google_core_dbp":"ChZKaWVJRWQ0dVNmX3pvbW5HYTNSa1JREAE","google_language":"en","google_ad_height":"250","google_video_doc_id":"yt_58kDMw779xc","google_ad_host":"ca-host-pub-1246501525141480","google_tag_for_child_directed_treatment":"","google_ad_host_tier_id":"4715298","google_targeting":"content","google_loeid":"9406127,9406821,9408510,9409208,9415031,9415867,9417354,9417762,9418096,9419251,9420021","google_page_url":"http:\/\/www.youtube.com\/video\/58kDMw779xc","google_scs":"false","google_ad_format":"300x250_as","google_lact":"-1","google_yt_pt":"APb3F29h0hA3ycRlZagtKf5fMpWNNoVB0X4cMOQS8Z8RXg39KBap9kuUAUCLI-bIDVFMjGtn2RERrMf9b8fkYPYk1oLgAruhxH065KbSX4_5l4NteVOTHav8s1XQJm3vb8KXbZ1zoChr3zpPl8l0kYJFk4A97o_NoCspjxaSlQ","google_ad_type":"image","google_cust_age":""},"show_afv":true,"pyv_vars":{"iframe_json":"{\"google_video_doc_id\":\"\",\"google_ad_host_tier_id\":\"\",\"google_ad_channel\":\"\",\"google_cust_gender\":\"\",\"google_ad_host\":\"\",\"google_ad_client\":\"\",\"google_only_pyv_ads\":false,\"google_ad_output\":\"\",\"google_yt_pt\":\"\",\"google_lact\":\"\",\"google_eids\":\"\",\"google_page_url\":\"\",\"google_loeid\":\"\",\"google_ad_block\":\"\",\"google_core_dbp\":\"\",\"google_ad_type\":\"\",\"google_cust_age\":\"\",\"google_language\":\"\",\"google_max_num_ads\":0,\"google_tag_for_child_directed_treatment\":\"\"}"},"afc_vars":{"format":"300x250_as","ad_client":"ca-pub-6219811747049371","core_dbp":"ChZKaWVJRWQ0dVNmX3pvbW5HYTNSa1JREAE","ad_block":"2","language":"en","ad_host":"ca-host-pub-1246501525141480","ad_type":"image","ad_host_tier_id":"4715298","ad_channel":"yt_mpvid_GVifn8DdkhDGUDvF+yt_cid_154+yt_no_ap+yt_no_360+ytdevice_1+ytdevicever_20150902+yt_no_cp+afv_user_id_aWd5_7JhbQBe4dknZhsHJg+afv_user_watchmojo+ytel_detailpage+ytps_default+0854550287+afc_on_page+Vertical_3+Vertical_34+Vertical_36+Vertical_211+Vertical_613+Vertical_1097","video_doc_id":"yt_58kDMw779xc","tag_for_child_directed_treatment":"","lact":"-1","alternate_ad_url":"https:\/\/www.youtube.com\/ad_frame?id=watch-channel-brand-div"},"show_pyv":false,"check_status":false,"show_instream":false},

Например, параметр &host=ca-host-pub-1246501525141480 найдешь в "google_ad_host":"ca-host-pub-1246501525141480", и так далее.
Парсим все нужные параметры через экшен обработки текста, подставляем в запрос.
Проверяем, если на запрос приходит XML-текст, то все ОК и теперь можно подставлять идентификатор видео в запрос.
То что не найдешь во фрагменте 'ADS_DATA':, поищи на всей странице. То что вообще не найдешь, попробуй оставить как есть или поставить рандомное значение.
Я бы и сам уже сделал, мне просто лень сидеть и выписывать регулярки. Займет минут 30-40. Да и лучше самому набить шишки, чтоб потом гет/пост щелкать как орешки. Мой первый шаб на гет/пост я делал неделю или даже две. А сейчас сделал бы за полчаса.

Сделал как вы сказали, в в браузере всё работает ХМЛ-страница отдаётся нормально. Но в браузере зенки выдаёт следующее:
<VAST xsi:noNamespaceSchemaLocation="vast.xsd" version="3.0"/>
и дальше ХМЛ не отрисовывается.
GET-запрос даёт тот же результат.
Вставляя ваши запрос, которые вы привели выше, - первый работает нормально, второй выдаёт только
<VAST xsi:noNamespaceSchemaLocation="vast.xsd" version="3.0"/>
Хотя в браузере оба работают нормально.
Не знаете из-за чего это может происходить?

 

[GrandT]

Сделал как вы сказали, в в браузере всё работает ХМЛ-страница отдаётся нормально. Но в браузере зенки выдаёт следующее:
<VAST xsi:noNamespaceSchemaLocation="vast.xsd" version="3.0"/>
и дальше ХМЛ не отрисовывается.
GET-запрос даёт тот же результат.
Вставляя ваши запрос, которые вы привели выше, - первый работает нормально, второй выдаёт только
<VAST xsi:noNamespaceSchemaLocation="vast.xsd" version="3.0"/>
Хотя в браузере оба работают нормально.
Не знаете из-за чего это может происходить?

Юзерагент менять пробовали?

 

[Ghisool]

Ага, заработало спс

 

[WulfaR]

Здравствуйте дорогие пользователи Чудесного программного комплекса ZENNOPOSTER. Сижу уже вторые сутки (как негр на авке), и пробую разбираться с GET/POST запросами. Суть вопроса: с помощью Fiddlera не могу найти ссылку формата
( https://googleads.g.doubleclick.net/pagead/ads?ad_block=2&ad_type=text_image_flash&adk), а нахожу только ссылку формата (https://googleads.g.doubleclick.net/pagead/ads?ad_block=2&client=ca-pub-) - ЧТО Я ДЕЛАЮ НЕ ТАК; Помогите Пожалуйста