как правильно сделать GET запрос?

[hostcredit]

Пытаюсь сделать парсер 2гис, столкнулся с проблемой: на сайте после запроса выходит окошко с организациями и скролингом этого окна, если получать DOM страницы, то выдает только 9 видимых в окошке выдачи организаций, если GET запросом то 22, всегда статические значения, может как то можно правильно запрос составить, чтобы получить все данные со страницы, которые появляются только если скроллить окно. Спасибо.

 

[Sergodjan]

Пытаюсь сделать парсер 2гис, столкнулся с проблемой: на сайте после запроса выходит окошко с организациями и скролингом этого окна, если получать DOM страницы, то выдает только 9 видимых в окошке выдачи организаций, если GET запросом то 22, всегда статические значения, может как то можно правильно запрос составить, чтобы получить все данные со страницы, которые появляются только если скроллить окно. Спасибо.

ajax-данные страницы формируются js-скриптами..
если парсить через GET-запрос, то в этом случае не запускаются js-скрипты подтягивающие новые данные на страницу..

 

[hostcredit]

Вопрос остается открытым..

 

[rostonix]

в статье lexone конкурсной был пример анализа работы javascript на странице. нужно анализировать чтобы понимать можно ли данные дернуть как то без браузера

 

[vrnsalesite]

еще вариант есть поменять структуру самого запроса часто бывает на странице выводиться только 10 записей типо site.ru/article/1?show=10
ручками попробовать подставить вместо 10 например 100

 

[hostcredit]

еще вариант есть поменять структуру самого запроса часто бывает на странице выводиться только 10 записей типо site.ru/article/1?show=10
ручками попробовать подставить вместо 10 например 100

попробовал - не получается в 2гис такой финт ушами

 

[hostcredit]

там какой то ява скрипт выполняется на странице при скроллинге и подгружаются остальные элементы в код страницы. Какой код я не знаю т.к. в яве не силен и как отследить его я не знаю

 

[vrnsalesite]

а стандартный скроллинг входящий в состав зенки не подходит?

 

[hostcredit]

а стандартный скроллинг входящий в состав зенки не подходит?

у зенки нет скроллинга, только нажатие на клаве "pagedown" но сайте 2гис оно тоже не прокатывает

 

[vrnsalesite]

Я про него имею ввиду попробуй мож поможет

 

[hostcredit]

Я про него имею ввиду попробуй мож поможет

это и есть эмуляция нажатия "pagedown", там оно не работает

 

[hostcredit]

Я про него имею ввиду попробуй мож поможет

Ура решение нашлось! Используем эмуляцию клавы, но не "pagedown" а "TAB" Всем спасибо!

 

[Sergodjan]

Ура решение нашлось! Используем эмуляцию клавы, но не "pagedown" а "TAB" Всем спасибо!

пря-здря-вля!
метод научного тыка в действии, во всем своем величии..
лишний пример для подражания для любителей поискать решение в мануалах к программе и потом любящих побузить на тему того, что мануала нет или он неполный..

 

[hostcredit]

пря-здря-вля!
метод научного тыка в действии, во всем своем величии..
лишний пример для подражания для любителей поискать решение в мануалах к программе и потом любящих побузить на тему того, что мануала нет или он неполный..

Спасибо! Если долго мучится - что нибудь получится

 

[hostcredit]

А самое главное, в процессе поиска решения с GET запросами разобрался, доковырялся до API и начал хоть чуть-чуть разбираться в коде C#

 

[hostcredit]

Так глядишь потихоньку потихоньку и тоже котэ аватарку разрешат повесить

 

[Sergodjan]

Так глядишь потихоньку потихоньку и тоже котэ аватарку разрешат повесить

да уже давно можно вешать котэ..

 

[hostcredit]

Вуаля, котэаватар готов!