- Регистрация
- 26.07.2015
- Сообщения
- 282
- Реакции
- 48
- Баллы
- 28
Собственно вопрос в теме.
Пример:
Парсер с помощью классического поиска элемента сохраняет профили людей с поиска фейсбук.
Он берет все доступные на сраничке профили, после чего прокручивает сраницу в самый низ и тогда подгружаются еще профили, опять их сохраняет, прокручивает снова самый низ, сохраняет и так по кругу.
Получается с каждой подгрузкой новых профилей растет количество кода стариницы, т.к. старые профили никуда не деваются, просто остаются выше. И вот чем дальше сраница прокручивается вниз, тем медленнее начинает работать парсинг, т.к. он обрабатывает все данные на сранице.
Отсюда вопрос, как оптимизировать сей процесс? Есть ли возможность задать поиск элементов только по видимой области окна? И как вообще происходит поиск? Если он идет, например, по Page.Source, то может можно как-то обрезать Page.Source и оставить последние пару десятков строк что бы поиск был только по ним? Какие есть варианты?
Пример:
Парсер с помощью классического поиска элемента сохраняет профили людей с поиска фейсбук.
Он берет все доступные на сраничке профили, после чего прокручивает сраницу в самый низ и тогда подгружаются еще профили, опять их сохраняет, прокручивает снова самый низ, сохраняет и так по кругу.
Получается с каждой подгрузкой новых профилей растет количество кода стариницы, т.к. старые профили никуда не деваются, просто остаются выше. И вот чем дальше сраница прокручивается вниз, тем медленнее начинает работать парсинг, т.к. он обрабатывает все данные на сранице.
Отсюда вопрос, как оптимизировать сей процесс? Есть ли возможность задать поиск элементов только по видимой области окна? И как вообще происходит поиск? Если он идет, например, по Page.Source, то может можно как-то обрезать Page.Source и оставить последние пару десятков строк что бы поиск был только по ним? Какие есть варианты?
