Исходный код страницы и get запрос

[Danko33]

Приветствую.
Смотрю исходный код страницы в обычном браузере и вижу ссылку, которую нужно спарсить.
Беру код страницы Get запросом, такой ссылки нет.

Ткните носом, что не так делаю.

 

[Phoenix78]

не все можно забрать get запросом. может там контент формируется JS . тогда надо эмулировать JS и формировать эти данные.

 

[Gunjubasik]

Приветствую.
Смотрю исходный код страницы в обычном браузере и вижу ссылку, которую нужно спарсить.
Беру код страницы Get запросом, такой ссылки нет.

Ткните носом, что не так делаю.

1. Вы хоть ссылку прикрепите откуда парсить нужно.
2. Вы уверены, что то что вы хотите спарсить, находится по тому запросу, который шлете, а не в другом запросе?
3. Где пример того, что вы получаете в гет?
4. Откройте например в зенке DevTool - Network перезагрузите веб страницу, в network нажмите ctrl+f и введите туда часть нужной ссылки и увидите с чем она приходит.
5. Может защита стоит.

 

[Alexander174]

Приветствую.
Смотрю исходный код страницы в обычном браузере и вижу ссылку, которую нужно спарсить.
Беру код страницы Get запросом, такой ссылки нет.
Ткните носом, что не так делаю.

Уже половина сайтов ведь ajax'ом контент подгружают, т.к. нужно быстрее юзеру отдать первую картинку.
Fiddler'ом отследите какие ещё post-запросы делает сайт после загрузки...
Если именно "ткнуть носом", то оставляйте ссылку, покажем.

 

[Danko33]

Прошу прощения.
Все оказалось просто (и глупо с моей стороны)
Просто нужно было авторизироваться на сайте, а я понадеялся, что с загрузкой готового профиля этого не требуется.

 

[Roman48]

Уже половина сайтов ведь ajax'ом контент подгружают, т.к. нужно быстрее юзеру отдать первую картинку.
Fiddler'ом отследите какие ещё post-запросы делает сайт после загрузки...
Если именно "ткнуть носом", то оставляйте ссылку, покажем.

Ткните носом, пожалуйста, нужно дом взять get запросом ctc.ru/projects/serials/dyldy/

 

[Alexander174]

Ткните носом, пожалуйста, нужно дом взять get запросом ctc.ru/projects/serials/dyldy/

DOM формируется на клиенте, js'ом, через get его не получите.
Зато по get сайт удобненько отдаёт разложенные по полочкам данные в json-формате: https://ctc.ru/api/page/v1/projects/serials/dyldy/