Не берёт DOM

jonvy

Client
Регистрация
28.11.2015
Сообщения
305
Благодарностей
17
Баллы
18
Шаблон через какое то время перестаёт брать DOM или source.
Пытаюсь спарсить участников группы в одноклассниках.
Прокручиваю страницу с участниками вниз действием "эмуляция клавиатуры", беру DOM или source. Выдёргиваю от туда IDы участников. Потом нажимаю "показать ещё" опять беру DOM или source выдёргиваю от туда IDы участников и т.д.
И вот в один момент прога перестаёт брать DOM или source. Напарсить я успеваю, когда более 2000 пользователей, когда меньше 1000
Группы с участниками менее 500 чел парсит норм, а вот более.. появляется эта проблема

версия зенопостера 5.9.8.0

шаблон прикрепил
 

Вложения

VladZen

Administrator
Команда форума
Регистрация
05.11.2014
Сообщения
22 453
Благодарностей
5 913
Баллы
113
Перестает подгружать пользователей, я думаю. И DOM остается тот же самый.
 

jonvy

Client
Регистрация
28.11.2015
Сообщения
305
Благодарностей
17
Баллы
18
Перестает подгружать пользователей, я думаю. И DOM остается тот же самый.
Новые пользователи в браузере показываются после прокрутки. Что он тогда подгружает?
 

rostonix

Известная личность
Регистрация
23.12.2011
Сообщения
29 067
Благодарностей
5 715
Баллы
113
Попробуйте увеличить до 100

upload_2016-2-1_14-39-24.png
 

jonvy

Client
Регистрация
28.11.2015
Сообщения
305
Благодарностей
17
Баллы
18
Отказался от этого способа. Ибо он долог и малорезультативен. Придумал как спарсить сразу под 50 000 профилей участников группы одним гет запросом.
Может кому вдруг интересно гет запрос на http://m.ok.ru/dk?st.cmd=altGroupActiveMembers&st.groupId=52997279973488&st.frwd=on&st.page=12&st.dir=FORWARD&_prevCmd=altGroupActiveMembers&tkn=9085
цифра 12 определяет сколько анкет можно выдернуть гет запросом. Увеличивая эту цифру на 1 количество анкет увеличивается на 10.

У меня щас другая проблема:
Слепил шаблон который гуляет по профилям в одноклассниках. В ProjectMaker работает отлично. Если запустить в ZennoPoster, через какое то время начинает сильно жрать мою оперативку. Чуть комп не вешает. В чём причина?
 

rostonix

Известная личность
Регистрация
23.12.2011
Сообщения
29 067
Благодарностей
5 715
Баллы
113
Отказался от этого способа. Ибо он долог и малорезультативен. Придумал как спарсить сразу под 50 000 профилей участников группы одним гет запросом.
Может кому вдруг интересно гет запрос на http://m.ok.ru/dk?st.cmd=altGroupActiveMembers&st.groupId=52997279973488&st.frwd=on&st.page=12&st.dir=FORWARD&_prevCmd=altGroupActiveMembers&tkn=9085
цифра 12 определяет сколько анкет можно выдернуть гет запросом. Увеличивая эту цифру на 1 количество анкет увеличивается на 10.

У меня щас другая проблема:
Слепил шаблон который гуляет по профилям в одноклассниках. В ProjectMaker работает отлично. Если запустить в ZennoPoster, через какое то время начинает сильно жрать мою оперативку. Чуть комп не вешает. В чём причина?
Инстанс нужно перезагружать экшеном Браузер - Настройки время от времени. Браузер как любой другой течет)
 

artur23

Client
Регистрация
14.04.2014
Сообщения
202
Благодарностей
15
Баллы
18
Инстанс нужно перезагружать экшеном Браузер - Настройки время от времени. Браузер как любой другой течет)
Так себе решение, особенно когда надо постоянно обновлять данные на странице и каждый раз устанавливать после перезагрузки инстанса расширение?
 

Sergodjan

Administrator
Команда форума
Регистрация
05.09.2012
Сообщения
20 407
Благодарностей
9 117
Баллы
113
Так себе решение, особенно когда надо постоянно обновлять данные на странице и каждый раз устанавливать после перезагрузки инстанса расширение?
Расширение не нужно переустанавливать после перезагрузки инстанса.
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)