Как парсить данные, не переходя по ссылке?

[dikiydi]

Добрый день, недавно начал пользоваться программой, не могу разобраться, возможно ли как то получить данные со страницы не открывая ее?

Есть список пользователей на странице, в коде есть ссылки на их профили (прописаны на значках, что бы перейти в профиль). Начинаю парсить страницу, получаю ссылки на их профили, но можно ли как то получить данные не открывая их профили (условно имея просто ссылки), иначе приходится заходить отдельно в каждый профиль и уже оттуда получать данные, а так как сайт совсем унылый приходится ставить большие таймауты, что бы данные успевали прогружаться, что увеличивает время работы программы в разы (желательно на языке для чайников) Спасибо заранее

 

[Ахилес]

вот из твоего поста я спарсил дату регистрации и твой ник и ссылку на твой профиль.

пока я не открою ссылку, других данных не будет у меня.
все браузеры работают по ссылкам, получая данные по каким то адрессам. они это делают автоматически и могут генерировать запросы в очень большом колличестве.

скорее всего нужные данные по спарсенным ссылкам можно получить обычным GET запросом, сгенерировав в паралельном выполнении сразу все ссылки полученные на первом этапе. это будет очень быстро.
но так как ты находишься в стадии знакомства со всем этим хозяйством, то тебе придется довольствоваться очень медленным браузером и переходить последовательно по каждой ссылке что бы получить нужные данные на каждый аккаунт

но зато есть стимул развиваться и повышая свой скил, создавать все более и более быстрые парсеры.

 

[dikiydi]

вот из твоего поста я спарсил дату регистрации и твой ник и ссылку на твой профиль.

Посмотреть вложение 121457

пока я не открою ссылку, других данных не будет у меня.
все браузеры работают по ссылкам, получая данные по каким то адрессам. они это делают автоматически и могут генерировать запросы в очень большом колличестве.

скорее всего нужные данные по спарсенным ссылкам можно получить обычным GET запросом, сгенерировав в паралельном выполнении сразу все ссылки полученные на первом этапе. это будет очень быстро.
но так как ты находишься в стадии знакомства со всем этим хозяйством, то тебе придется довольствоваться очень медленным браузером и переходить последовательно по каждой ссылке что бы получить нужные данные на каждый аккаунт

но зато есть стимул развиваться и повышая свой скил, создавать все более и более быстрые парсеры.

Да, парсить данные на активной странице я уже научился, нужны именно данные со страниц, ссылки на которые я получаю...
По сути парсер рабочий у меня уже итак есть, сейчас как раз таки пытаюсь усовершенствовать его, буду разбираться, спасибо и на этом

 

[Alexbrush]

Да, парсить данные на активной странице я уже научился, нужны именно данные со страниц, ссылки на которые я получаю...
По сути парсер рабочий у меня уже итак есть, сейчас как раз таки пытаюсь усовершенствовать его, буду разбираться, спасибо и на этом

Возможно просто и сбор ссылок на профили и последующий сбор данных по ссылкам через Get запросы сделать - таким образом скорее всего унылость сайта по загрузке страницы не будет помехой и процесс пойдет быстрее.

Почти всегда подобный парсинг минимум в 2 шага. Сначала собираем страницы откуда парсим и после в цикле проходим по каждой и собираем данные. Не заходя на страницы, не угадать что внутри, если только это в ссылки не зашито параметрами, но такое редкость)