Защита от парсинга на сайтах, или ....

[nail2501]

Тут https://www.liveresult.ru/ и еще на паре десятков сайтов встречал то ли защиты от парсинга, то ли иные скрипты, которые в десятки раз тормозят работу C# или кубика.
Как найти и отключить определенный скрипт, который все тормозит?
при помощи dev tool, при помощи анализатора трафика или еще чего либо...
ЕСТЬ ЛИ ВОЗМОЖНОСТЬ В dev tools опрделеить какой скрипт больше всего жрет? И как после нахождения его потом убить?
на примере указанного сайта.

 

[Phoenix78]

раз у тебя сайт загрузился, то ты можешь парсить данные из запросов. они то уже сформированы и не надо больше обращаться к сайту.

 

[nail2501]

раз у тебя сайт загрузился, то ты можешь парсить данные из запросов. они то уже сформированы и не надо больше обращаться к сайту.

Привет. Мне нужно спарсить div span a button которые удоблетворяют регулярке.
Я делаю через C# например банально
HtmlElement he = instance.ActiveTab.FindElementByAttribute("jdiv|button|div|a|span|img", "class", "тут всякие регулярки", "regexp", j);
Ну и там дальше еще куча нюансов.

Я не понимаю, что значит ПАРСИТЬ ИЗ ЗАПРОСОВ
Я знаю GET и POST запросы.
О каких запросах речь? ))
Спасибо.

 

[Mikhail B.]

Привет. Мне нужно спарсить div span a button которые удоблетворяют регулярке.
Я делаю через C# например банально
HtmlElement he = instance.ActiveTab.FindElementByAttribute("jdiv|button|div|a|span|img", "class", "тут всякие регулярки", "regexp", j);
Ну и там дальше еще куча нюансов.

Я не понимаю, что значит ПАРСИТЬ ИЗ ЗАПРОСОВ?
Я знаю GET и POST запросы.
О каких запросах речь? ))
Спасибо.

Сайт это код. Когда он загружен все действия призводятся локально. Если речь про запросы. Поищи на сайте json.

 

[nail2501]

Сайт это код. Когда он загружен все действия призводятся локально. Если речь про запросы. Поищи на сайте json.

Так скрипты то тодже локально исполняются.
Они и тормозят.
Зайдите на сайт что я скинул и попробуйте что то спарсить из DOM. Нужно именно дом иерархия.
Вы увидите что процесс будет идти очень медленно.
Так же попробуйте мышкой поуправлять через C#. тоже все медленно, с рывками.

 

[Mikhail B.]

Так скрипты то тодже локально исполняются.
Они и тормозят.
Зайдите на сайт что я скинул и попробуйте что то спарсить из DOM. Нужно именно дом иерархия.
Вы увидите что процесс будет идти очень медленно.
Так же попробуйте мышкой поуправлять. тоже все медленно, с рывками.

В обычном браузере норм все?

 

[nail2501]

В обычном браузере норм все?

В обычном (не зеннопостере) да. Подчеркну что я использую Хромиум.

 

[Mikhail B.]

Значит дело не в сайте?

 

[nail2501]

Значит дело не в сайте?

Так я не пробовал парсить в обычном браузере. Я неправильно вас понял). Скорее всего тоже самое будет. Я не разработчик. Я не знаю как в обычном браузере парсить

 

[Phoenix78]

есть монитор трафика, там все данные запросов. сайт загрузился, все данные получаем из монитора трафика , профит.
зачем нужна эмуляция мыши для парсинга ? зачем она вообще нужна ? там же не надо накручивать поведенческие....

 

[nail2501]

есть монитор трафика, там все данные запросов. сайт загрузился, все данные получаем из монитора трафика , профит.
зачем нужна эмуляция мыши для парсинга ? зачем она вообще нужна ? там же не надо накручивать поведенческие....

У меня шаблон не только парсит но и накручивает )
Скиньте хоть ссылку, если найдете, как получать данные из монитора трафика. А то поиск ничего не нашел толкового.

 

[Phoenix78]

У меня шаблон не только парсит но и накручивает )
Скиньте хоть ссылку, если найдете, как получать данные из монитора трафика. А то поиск ничего не нашел толкового.

как пример https://zennolab.com/discussion/threads/poluchenie-dannyx-iz-post-zaprosa-v-peremennuju.62247/post-447183

 

[Mikhail B.]

И по гет запросам поищите видосы/уроки.

Кстати я как то делал шаблон на вебе и запросах.