Вопрос по скорости подсчёта массивов

zombie

Client
Регистрация
14.08.2012
Сообщения
482
Благодарностей
120
Баллы
43
Доброго времени, друзья!
Попытаюсь объяснить проблему на конкретном примере, т.к. не могу чётко сформулировать в двух словах.

У меня есть бот, которые чистит друзей, подписчиков и прочую хрень ВКонтакте. Алгоритм простой обкакаться: на страничке друзей начинаем методично проверять параметры каждого юзверя и если параметры неудовлетворительны для меня - удаляем. Тут всё понятно. Но чем далее листаем тем медленнее идёт парсинг\удаление. Я так понял, что Зенно (стандартными средствами) каждого нового юзеверя считает от начала массива, что, собственно, и замедляет работу. В итоге 3к юзеров у меня парситься от 20 минут и более... такая же фигня и с ОД, да и вообще с такими задачами...

Собственно вопрос в теме: как мне увеличить скорость? Может есть смысл поизучать XPath ? Может он быстрее считает? Может кто-то приподнимет завесу тайны:D

Надеюсь, понятно рассказал:-)
 

rostonix

Известная личность
Регистрация
23.12.2011
Сообщения
29 067
Благодарностей
5 715
Баллы
113
речь о ProjectMaker или ZP?
 

zombie

Client
Регистрация
14.08.2012
Сообщения
482
Благодарностей
120
Баллы
43
ZP.

Только что чистил 1200 друзей минут 40. Сначала скролит очень быстро, но со временем очень медленно.
 

rostonix

Известная личность
Регистрация
23.12.2011
Сообщения
29 067
Благодарностей
5 715
Баллы
113
Страницы не посещаете? Какие параметры то проверяете.
Чем ниже скролл, тем больше тормозит браузер. Это норма в принципе.
 

zombie

Client
Регистрация
14.08.2012
Сообщения
482
Благодарностей
120
Баллы
43
Нет, страниц не посещаю.

Захожу на страницу списка друзей, беру стандартными средствами поиска innerhtml требуемого элемента (на 1200 друзей их соответственно 1200), проверяю значение и в зависимости от этого выполняю необходимое действие.

Чем ниже скролл, тем больше тормозит браузер. Это норма в принципе.
Неужели нет никаких вариантов по ускорению счёта? Я натыкался на видео коллег по цеху - там всё пучком. Парсились большие объёмы, при этом скроллилось с хорошей скоростью.
 

zombie

Client
Регистрация
14.08.2012
Сообщения
482
Благодарностей
120
Баллы
43

rostonix

Известная личность
Регистрация
23.12.2011
Сообщения
29 067
Благодарностей
5 715
Баллы
113
Меня не удивляет, если страница подгружена с несколькими кило пользователями и вы удаляете там кого-то. Хорошо что браузер не падает еще.
 

zombie

Client
Регистрация
14.08.2012
Сообщения
482
Благодарностей
120
Баллы
43
Хм... а вы разве не сталкивались с подобным? Это касается всего, где громоздкие массивы.
Также, при парсинге ОД пользователей по критериям 1к пользователей из выдачи (урлы) собираются у меня в среднем за 40-50 минут.
ВК только что выполнился за 70 минут (1.3к пользователей).

Получается что работать с такими ситуациями в Zennoposter просто нет смысла. Возможно что вручную намного быстрее. В случае с ВК так уж точно.

Если подытожить, то у меня нет претензий - просто я думал может я не могу сообразить как лучше поступить. Ну раз такая ситуация, что ж поделать :(
 

Jerard

Client
Регистрация
11.04.2013
Сообщения
506
Благодарностей
225
Баллы
43
Как я понял ты берешь по 1-му. Это не рационально. Сначала берешь скролишь страницу до конца, после это берешь Source парсишь с него все результаты разом и кидаеш в список. Это намного быстрее чем у тебя сейчас сделано.
 

zombie

Client
Регистрация
14.08.2012
Сообщения
482
Благодарностей
120
Баллы
43
Да, спасибо. Уже так реализовываю - посмотрю что выйдет :-)
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)