Http get запрос с ожиданием загрузки страницы

[Sunrider]

Доброго времени.

Подскажите пожалуйста возможно ли заставить экшен http get ждать загрузки страницы.
Вопрос в том что хочу на линкедин спарсить информацию о своих контактах и других пользователлях в базу данных. При частом переходе на страницы линкедин ругается и блокирует доступ к сайту на некоторое время.
Если через get запрос то там страница загружается не сразу и get запрос получает фактически прокладку.
Как-то можно было бы заставить http get ждать загрузку нужной страницы а не прокладки?

 

[Mikhail B.]

А в мониторе трафика, нету второго гет запроса?

 

[Sunrider]

А в мониторе трафика, нету второго гет запроса?

Откровенно говоря не в курсе по монитору трафика вообще ничего

 

[Sunrider]

А в мониторе трафика, нету второго гет запроса?

Если я правильно понял то в трафике после выполнения экшена через какое-то время еще запросы идут, но код в переменной не меняется

Парсит такую прокладку скриншот http://prntscr.com/idcixu

 

[Mikhail B.]

Откровенно говоря не в курсе по монитору трафика вообще ничего

Вам нужно научится работать с монитором трафика, вручную кликаете эту страницу и смотрите какие запросы идут. Некоторые можно пропустить, а некоторые играют ключевую роль. Поищите на ютубе видео монитор трафика зенопостер.

 

[Moadip]

Подскажите пожалуйста возможно ли заставить экшен http get ждать загрузки страницы.

Get запрос нельзя заставить ждать, это просто запрос. Что запросили, то и получили.
Если какая то инфа не приходит через запрос, значит надо смотреть, какие запросы еще нужны, по другому никак.

Минимальный пример шаба, ну или какие запросы делаются, и что надо в итоге получить, помогли бы более предметно говорить о вопросе.

 

[Sunrider]

Get запрос нельзя заставить ждать, это просто запрос. Что запросили, то и получили.
Если какая то инфа не приходит через запрос, значит надо смотреть, какие запросы еще нужны, по другому никак.

Минимальный пример шаба, ну или какие запросы делаются, и что надо в итоге получить, помогли бы более предметно говорить о вопросе.

Тут архив с тест проектом https://yadi.sk/d/C9-OxbQs3SJN36
логинится на сайте. парсит список контактов, берет ссылку страницы и получает ее get запросом.
Нужно ее получить так чтобы можно было выпарсить со страницы ФИО и другую дополнительную информацию.

 

[Sunrider]

там в get запросе нужно только подключить загрузку профиля с выполнением запроса.

 

[Mikhail B.]

Уже поздно сегодня, завтра гляну.

 

[Sunrider]

Минимальный пример шаба, ну или какие запросы делаются, и что надо в итоге получить, помогли бы более предметно говорить о вопросе.

Не получается?

 

[Mikhail B.]

Не получается?

Я забыл про тебя

Сейчас посмотрю. Сразу говорю я в запросах не гуру))

UPD.

Вы обратились к ресурсу, который заблокирован согласно требованиям
федерального законодательства.

VPN у меня нету извини.

 

[Moadip]

Не получается?

Тоже забыл.
Гляну. Завтра отпишусь.

 

[ssXXXss]

так вообще ничего не грузится ))

 

[Mikhail B.]

так вообще ничего не грузится ))

Сайт запрещен в РФ.

 

[ssXXXss]

Сайт запрещен в РФ.

)) ясненько
щас в америку метнусь ))

 

[Sunrider]

VPN у меня нету извини.

и парсером прокси не пользуетесь в зенке?

 

[Moadip]

Куки протухли, в акк не заходит.

 

[Sunrider]

Куки протухли, в акк не заходит.

Это не куки, а учетку заблокировали.
Проект то в общем доступе. кто-то поигрался с акком и его грохнули.
ХЗ что делать. Еще раз аккаунт создать так опять в открытую если выложить то вскоре и его грохнут...

 

[ssXXXss]

Это не куки, а учетку заблокировали.
Проект то в общем доступе. кто-то поигрался с акком и его грохнули.
ХЗ что делать. Еще раз аккаунт создать так опять в открытую если выложить то вскоре и его грохнут...

зачем в открытую, в личку скинь @Moadip если он возьмётся

P.S. Вообще советую его, сильный кодер

 

[Moadip]

Это не куки, а учетку заблокировали.
Проект то в общем доступе. кто-то поигрался с акком и его грохнули.
ХЗ что делать. Еще раз аккаунт создать так опять в открытую если выложить то вскоре и его грохнут...

Кидай в личку.

 

[Sunrider]

Кидай в личку.

Ок. Пару минут тогда.

 

[Sunrider]

Кидай в личку.

@Moadip у тебя личка наверное закрыта, не могу написать. Кодом тоже не получается для определенного юзера скрыть сообщение.
Как связаться?

 

[ssXXXss]

@Moadip у тебя личка наверное закрыта, не могу написать. Кодом тоже не получается для определенного юзера скрыть сообщение.
Как связаться?

чтобы писать в личку нужно иметь статус клиент, напиши в сапорт и мыло лицензии предоставь им они расмотрят и присвоят статус

 

[Sunrider]

чтобы писать в личку нужно иметь статус клиент, напиши в сапорт и мыло лицензии предоставь им они расмотрят и присвоят статус

Написал. Будем ждать если другого способа нет.

 

[ssXXXss]

Написал. Будем ждать если другого способа нет.

я ему в скайпе отписал, как появится отпишет тебе

 

[Moadip]

Отписал в личку.

 

[Sunrider]

Отписал в личку.

Отправил ссылку

 

[Moadip]

Глянул.
В общем ты в шабе парсишь урлы страниц, и потом пытаешься по ним отправить запрос.

Спойлер

Впринципе логично, но это не катит.

К примеру вот такой урл
https://www.linkedin.com/in/sekina-anastasia-04972913/

Если жмакнуть по контакту, и посмотреть в сниффер какой запрос уходит, то по идее по нему должен уходит запрос.
Но если посмотреть самые первые запросы, то там такого запроса вообще нет.

Спойлер

Но есть вот это

Спойлер

https://www.linkedin.com/voyager/api/mux
К этому урлу вернемся чуть позже

Если в адресную строку вбить урл, и попытаться перейти
То видно, что что то грузит.

Спойлер

Если посмотреть в сниффере
То видно что спустя какое то время опять появляется этот запрос
https://www.linkedin.com/voyager/api/mux

Спойлер

Другими словами при переходе по https://www.linkedin.com/in/sekina-anastasia-04972913/ выдается какая то прокладка, в которой инфы нет, но там напиханы различные скрипты, которые в итоге дергают запрос https://www.linkedin.com/voyager/api/mux

А теперь собственно этот запрос.

В нем видно что передается json, в котором как раз и есть имя акка.

Спойлер

В ответ приходит json в котором и есть вся инфа о контакте.

Спойлер

Пример инфы

Спойлер

Вот на этом сайте удобнее смотреть json, т.к. есть поиск.

Спойлер

Т.е. другими словами инфа берется не напрямую по урлу, а по хитрожопому через https://www.linkedin.com/voyager/api/mux
Поэтому напрямую делать запрос на https://www.linkedin.com/in/sekina-anastasia-04972913/ нет смысла.

Дальше, ты пытаешь отправить запрос в лоб. Так не получится.
Нужны хедеры(заголовки) и куки.
Ты хоть там и пытаешься взять заголовки из профиля, но это скорее всего не прокатит.

Спойлер

Куки.

Спойлер

Ну и как убедились, запрос надо посылать не GET, а POST и на совсем другой урл.

В общем выглядит это все примерно так.
Парсится список контактов.
Потом на https://www.linkedin.com/voyager/api/mux отправляется сгенеренный json, в котором есть контакт.
Приходит json, его разбираем. В нем инфа.

Это то что на первый взгляд, возможно что то упустил, но в целом как написал выше.

В итоге.
Если опыта нет или маловато, то имхо, лучше не соваться.))

 

[Sunrider]

Ясно. спасибо.

 

[smartwisard]

Получил задание разослать 2500 одинаковых сообщений в LinkedIn. Потихоньку доделывал шаблон в Project Maker, рассылал успешно.
Доделал. Попробовал запустить в зенке — кнопка Send в зенке не нажималась. Сразу после зенки получил бан. Не знаю, временный, или постоянный И это — для чужой корпоративной учётки.
Ни хрена себе на работу устроился.

Почему в зенке Send не нажималось?
И вообще хоть кто-нибудь здесь работает с этой сетью?
Только пару упоминаний LinkedIn нашёл.