Вопрос по скорости подсчёта массивов

[zombie]

Доброго времени, друзья!
Попытаюсь объяснить проблему на конкретном примере, т.к. не могу чётко сформулировать в двух словах.

У меня есть бот, которые чистит друзей, подписчиков и прочую хрень ВКонтакте. Алгоритм простой обкакаться: на страничке друзей начинаем методично проверять параметры каждого юзверя и если параметры неудовлетворительны для меня - удаляем. Тут всё понятно. Но чем далее листаем тем медленнее идёт парсинг\удаление. Я так понял, что Зенно (стандартными средствами) каждого нового юзеверя считает от начала массива, что, собственно, и замедляет работу. В итоге 3к юзеров у меня парситься от 20 минут и более... такая же фигня и с ОД, да и вообще с такими задачами...

Собственно вопрос в теме: как мне увеличить скорость? Может есть смысл поизучать XPath ? Может он быстрее считает? Может кто-то приподнимет завесу тайны

Надеюсь, понятно рассказал

 

[rostonix]

речь о ProjectMaker или ZP?

 

[zombie]

ZP.

Только что чистил 1200 друзей минут 40. Сначала скролит очень быстро, но со временем очень медленно.

 

[rostonix]

Страницы не посещаете? Какие параметры то проверяете.
Чем ниже скролл, тем больше тормозит браузер. Это норма в принципе.

 

[zombie]

Нет, страниц не посещаю.

Захожу на страницу списка друзей, беру стандартными средствами поиска innerhtml требуемого элемента (на 1200 друзей их соответственно 1200), проверяю значение и в зависимости от этого выполняю необходимое действие.

Чем ниже скролл, тем больше тормозит браузер. Это норма в принципе.

Неужели нет никаких вариантов по ускорению счёта? Я натыкался на видео коллег по цеху - там всё пучком. Парсились большие объёмы, при этом скроллилось с хорошей скоростью.

 

[zombie]

 

[rostonix]

Меня не удивляет, если страница подгружена с несколькими кило пользователями и вы удаляете там кого-то. Хорошо что браузер не падает еще.

 

[zombie]

Хм... а вы разве не сталкивались с подобным? Это касается всего, где громоздкие массивы.
Также, при парсинге ОД пользователей по критериям 1к пользователей из выдачи (урлы) собираются у меня в среднем за 40-50 минут.
ВК только что выполнился за 70 минут (1.3к пользователей).

Получается что работать с такими ситуациями в Zennoposter просто нет смысла. Возможно что вручную намного быстрее. В случае с ВК так уж точно.

Если подытожить, то у меня нет претензий - просто я думал может я не могу сообразить как лучше поступить. Ну раз такая ситуация, что ж поделать

 

[Jerard]

Как я понял ты берешь по 1-му. Это не рационально. Сначала берешь скролишь страницу до конца, после это берешь Source парсишь с него все результаты разом и кидаеш в список. Это намного быстрее чем у тебя сейчас сделано.

 

[zombie]

Да, спасибо. Уже так реализовываю - посмотрю что выйдет