Возможно ли GET запросом обновить страницу (загрузить полностью)

[backoff]

Приветствую.
Есть сайт, у него новости, и весь нужный контент обновляется на ява скрипте, то есть когда прокручиваешь страницу вниз, то страница добавляет контент, ну как в ВК.
НО только у этого сайта есть конец страницы.

Я сделал шаблон, который проверяет и сравнивает высоту по body. Работает нормально, но медленно. Можно ли с помощью гет запроса обновлять страницу и проверять открылась ли она полностью чтобы парсить контент. Спасибо.

 

[doc]

Приветствую.
Есть сайт, у него новости, и весь нужный контент обновляется на ява скрипте, то есть когда прокручиваешь страницу вниз, то страница добавляет контент, ну как в ВК.
НО только у этого сайта есть конец страницы.

Я сделал шаблон, который проверяет и сравнивает высоту по body. Работает нормально, но медленно. Можно ли с помощью гет запроса обновлять страницу и проверять открылась ли она полностью чтобы парсить контент. Спасибо.

ну подгрузка скорее идёт пост запросом. можно пробовать его имитировать

 

[doc]

именно н загрузку фул страницы, а подгрузку дополнительных данных

 

[backoff]

да, но подгрузка получается тогда когда скрипт понимает что нужная часть сайта попала в поле видимости экрана, тогда и происходит обновление контента, а вот как это сделать, имитировать такой запрос, я без понятия.

 

[doc]

да, но подгрузка получается тогда когда скрипт понимает что нужная часть сайта попала в поле видимости экрана, тогда и происходит обновление контента, а вот как это сделать, имитировать такой запрос, я без понятия.

нужно искать скрипт, который за это отвечает. хотя для начала стоило бы просто отследить этот запрос в сниффере. посмотреть как он выглядит. может там всё проще

 

[backoff]

фитдлером httpS не ловится, а аналайзера крякнутого без вирей не найти (

 

[doc]

есть дополнение к лисе. может он https хватает

 

[doc]

кстати, буквально на днях с помощью фидлера делал авторизацию на пост на яндексе. Мне кажется, я там ловил https

 

[backoff]

сделай плиз скрин настроек там где https в фидлере

 

[AShaggy]

фидлер ловит https, он подменяет сертификаты, проблема только в том что некоторые браузеры это пытаются пресекать.
А у сайта скорее всего что-то простенькое: запросик к серверу (через непубличное апи) в котором есть токен (или индексатор не важно что), по которому сервер определяет с какой записи слать ответ. Ответ чаще бывает в json, ну иногда реально html код шлют.

И кстати, можно попробовать послать запросы на сервер без https... бывает он отвечает)

 

[doc]

сделай плиз скрин настроек там где https в фидлере

я в нём не шарю. Я просто его поставил и всё. А на браузере или зенке ставил прокси 127.0.0.1:8888

 

[backoff]

я в нём не шарю. Я просто его поставил и всё. А на браузере или зенке ставил прокси 127.0.0.1:8888

спасибо!
вроде пошла жара)
в мейкере стало ловить запросы.
благодарю, пошел разбираться

 

[backoff]

фидлер ловит https, он подменяет сертификаты, проблема только в том что некоторые браузеры это пытаются пресекать.
А у сайта скорее всего что-то простенькое: запросик к серверу (через непубличное апи) в котором есть токен (или индексатор не важно что), по которому сервер определяет с какой записи слать ответ. Ответ чаще бывает в json, ну иногда реально html код шлют.

И кстати, можно попробовать послать запросы на сервер без https... бывает он отвечает)

да, используется токен.

 

[backoff]

теперь бы еще понять что к чему