Парсинг страницы БЫСТРЕЕ всего как?

serg1208

Client
Регистрация
17.04.2018
Сообщения
331
Благодарностей
15
Баллы
18
Привет. Помогите разобраться, пожалуйста.

Есть страница типа https://www.onbuy.com/gb/automatic-hair-curler-iron-rotate-lasting-styling-wave-electric-hair-curlercurling-ironspink~c9816~p42485550/
Мне таких страниц надо парсить много. Потому пробовал через ГЕТ запросы, но что-то не получается, видимо они против парсинга)1643887749747.png

Через браузер получается парсить, но быстрее всего это занимает 400ms по времени, что немного долго.

Подскажите, как можно ускорить этот процесс?

Спасибо
 

RoyalBank

Client
Регистрация
07.09.2015
Сообщения
557
Благодарностей
550
Баллы
93
Тебе возможно в эту тему.
Так на вскидку, запросы проходят.
 
  • Спасибо
Реакции: serg1208

serg1208

Client
Регистрация
17.04.2018
Сообщения
331
Благодарностей
15
Баллы
18

amyboose

Client
Регистрация
21.04.2016
Сообщения
2 312
Благодарностей
1 191
Баллы
113
Ускорить достаточно просто. Инструкция для браузера:
1) урезаешь все ненужные скрипты, которые загружают бесполезные данные
2) не ждешь загрузки до конца и вместо этого начинаешь парсить как только нужный блок загрузился
3) ставить HtmlAgility, загружаешь туда весь Body и парсишь за пару миллисекунд все данные
 
  • Спасибо
Реакции: Zoloo и serg1208

serg1208

Client
Регистрация
17.04.2018
Сообщения
331
Благодарностей
15
Баллы
18
Ускорить достаточно просто. Инструкция для браузера:
1) урезаешь все ненужные скрипты, которые загружают бесполезные данные
2) не ждешь загрузки до конца и вместо этого начинаешь парсить как только нужный блок загрузился
3) ставить HtmlAgility, загружаешь туда весь Body и парсишь за пару миллисекунд все данные
стесняюсь спросить, а как ограничить время загрузки страницы? и по поводу HtmlAgility тыкните в инструкцию, как это сделать?) Спасибо
 

amyboose

Client
Регистрация
21.04.2016
Сообщения
2 312
Благодарностей
1 191
Баллы
113
Только на c# путем избавления от метод instance.ActiveTab.WaitDownloading() и вместо этого проверять в цикле наличие нужного элемента или элементов.
Как только они появились, приступаешь к шагу 3
 
  • Спасибо
Реакции: serg1208

RoyalBank

Client
Регистрация
07.09.2015
Сообщения
557
Благодарностей
550
Баллы
93
Используй SetContentPolicy

Firefox_Screenshot_2022-02-03T14-25-57.317Z.png
 
  • Спасибо
Реакции: serg1208

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)