Как правильно сохранять полный html код страниц

Axel

Client
Регистрация
20.03.2017
Сообщения
189
Реакции
10
Баллы
18
Как лучше получать полный код страницы, помогите разобраться.

Вариант 1 браузер - полная загрузка страницы "со всеми потрохами" - потом сохранить Source (DOM ?)

или же 2 вариант - GET запрос?

Задача сохранять полный html код страниц чтобы потом локально уже с них парсить. Не пропустить никакой кусок который реально на сайте.
 
Как лучше получать полный код страницы, помогите разобраться.

Вариант 1 браузер - полная загрузка страницы "со всеми потрохами" - потом сохранить Source (DOM ?)

или же 2 вариант - GET запрос?

Задача сохранять полный html код страниц чтобы потом локально уже с них парсить. Не пропустить никакой кусок который реально на сайте.
Все зависит от ваших задач, если GET возвращает достаточно информация, то я бы использовал его.
 
Как лучше получать полный код страницы, помогите разобраться.

Вариант 1 браузер - полная загрузка страницы "со всеми потрохами" - потом сохранить Source (DOM ?)

или же 2 вариант - GET запрос?

Задача сохранять полный html код страниц чтобы потом локально уже с них парсить. Не пропустить никакой кусок который реально на сайте.
DOM - это не то же самое что GET.

При открытии странички - первый GET - это фактически точка входа.
После чего на страничке может выполняться какой-то JS код, который например по API получит дополнительные данные.
И эти данные отобразит на страничке - тоесть они появлятся в DOM.

В многих случаях хватает GET для получения данных.
Но также во многих случаях этот GET отправлять нужно не туда, куда мы переходим в браузере, а на какой-то URL который вызывал браузер при открытии странички.

Тоесть, смотрим трафик - ищем там нужные данные.
После чего понимаем какой запрос нужно отправлять.
И далее пытаемся это повторить.

Через GET будет кушать меньше ресурсов (CPU,RAM), да и в целом быстрее будет.
Но... Иногда получать данные через GET сложнее чем используя браузерный DOM (например если данные для отображения берутся с большого количества запросов, а для запросов используются какие-то токены которые не известно как генерировать).
 
  • Спасибо
Реакции: Hannes и Dmitriy_Zenno

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)