Получить данные из JavaScript кода

[Atlas]

Добрый день.

Нужно спарсить информацию с сайта, но дело в том, что эта информация в Java-скриптах. Скрипты подгружаются через несколько секунд после загрузки самой веб-страницы.

Get-запросом собрать эту информацию я не смог - парсит пустые значения. В итоге у меня сейчас стоит загрузка самого сайта в браузере, пауза 5 секунд, далее сбор DOM. Работает это дело медленно и порой за 5 секунд скрипты не успевают подгрузится.

Можно ли как-то ускорить этот процесс и гарантировано собирать необходимую информацию?

Был бы признателен за ваши ответы.

 

[Adigen]

Добрый день.

Нужно спарсить информацию с сайта, но дело в том, что эта информация в Java-скриптах. Скрипты подгружаются через несколько секунд после загрузки самой веб-страницы.

Get-запросом собрать эту информацию я не смог - парсит пустые значения. В итоге у меня сейчас стоит загрузка самого сайта в браузере, пауза 5 секунд, далее сбор DOM. Работает это дело медленно и порой за 5 секунд скрипты не успевают подгрузится.

Можно ли как-то ускорить этот процесс и гарантировано собирать необходимую информацию?

Был бы признателен за ваши ответы.

1. Привязаться в доме к элементам которые появляются после сработки жс.
2. Ориентироваться document.readyState фреймов.
3. Слать самому эти запросы от js и спокойно парсить ответы.

 

[Atlas]

1. Привязаться в доме к элементам которые появляются после сработки жс.

Как это сделать?

 

[Adigen]

Как это сделать?

Определить нужные элементы, и с небольшими паузами пробовать найти их (или значение в них) на странице, и так по кругу, но там не дольше 3х минут, на случай если прокся зависнет.