Проблема при парсинге ВебАрхива.

[PNR]

Всем доброго времени.

Пробую парсить ВебАрхив. Столкнулся со следующей проблемой:

Пример шаблона:

Спойлер: шаб

Проблема в следующем: если в PM делаем выполнение по F10 (пошагово) то все то нужные данные парсятся нормально, если же выполнять по F5 или F11 - то данные начинают парсится до того как ВебАрхив их нам выгрузит, ну и как результат получаю соответственно не то.

Подскажите пожалуйста что почитать, или что тут можно сделать.

Всем заранее благодарен!

 

[Gunjubasik]

Всем доброго времени.

Пробую парсить ВебАрхив. Столкнулся со следующей проблемой:

Пример шаблона:

Спойлер: шаб

Посмотреть вложение 63567

Проблема в следующем: если в PM делаем выполнение по F10 (пошагово) то все то нужные данные парсятся нормально, если же выполнять по F5 или F11 - то данные начинают парсится до того как ВебАрхив их нам выгрузит, ну и как результат получаю соответственно не то.

Подскажите пожалуйста что почитать, или что тут можно сделать.

Всем заранее благодарен!

Один из вариантов, ставить паузы, но это если я вас верно понял, если нет, смогу зайти удаленно посмотреть, только добавьте в телеграм.

 

[PNR]

Ставить паузу как вариант, но выполнение тогда затребует много времени.
Может есть какое-то типовое решение для ВебАрхива? Довольно популярный ресурс для парсинга.

Как один из вариантов которые нашел: - можно в строку браузера сразу забивать нужный URL для ВА, но тогда придется каждый раз загружать сайт. Это тоже долго.

Хотелось бы найти вариант через поисковую строку на ВА.

 

[Nord]

Поработать со сниффером, узнать, ответ на какие запросы нужно обязательно
получить, чтоб были все данные, а потоми через монитор трафика в цикле с интервалом в 1 секунду смотреть(instance.UseTrafficMonitoring = true; instance.ActiveTab.GetTraffic(); ), получен ли ответ на нужные нам запросы, когда получили все - парсим нужные данные и переходим дальше

 

[PNR]

Поработать со сниффером, узнать, ответ на какие запросы нужно обязательно
получить, чтоб были все данные, а потоми через монитор трафика в цикле с интервалом в 1 секунду смотреть(instance.UseTrafficMonitoring = true; instance.ActiveTab.GetTraffic(); ), получен ли ответ на нужные нам запросы, когда получили все - парсим нужные данные и переходим дальше

Спасибо, попробую разобраться как это работает.