Проблемы с многопоточностью в Zennoposter 5

Alexander I

Client
Регистрация
04.11.2016
Сообщения
32
Благодарностей
3
Баллы
8
Версия программы 5.3.1.0
Тестировал на двух системах:
1. Ноутбук Thinkpad Edge 14, Intel Core i3 (2.67Hz), 8gb, Windows 7 Pro х64 (лицензия)
2. Выделенный сервер Intel Xeon E31220 (3.10Hz), 32gb, Windows Server 2012 R2

На обоих машинах выставлены настройки максимальной производительности в панели управления.

Подскажите какая информация вам нужна, чтобы помочь решить проблему?

1. Очень медленно набираются потоки.

После отработки шаблона в потоке, он перезагружается ну очень долго. Несколько минут. Пришлось выставить зацикленность в самом шаблоне. Хотя раньше все нормально работало без этого.

Ну, и понятное дело, когда проект только стартует, то потоки набираются почти так же медленно. Хотя и чуть быстрей, чем после отработки.

2. Процессор загружается не более чем на 20-30 процентов и свободной оперативки 80%, все равно вылетают ошибки, как будто zenno не хватает ресурсов. Типа, что HTML элемент не найдет и т.п. До 15 потоков таких ошибок нет.

Но самое главное, что выставленное количество потоков так и не набирается. То есть, если 15 потоков грузят ПК на 10-15%, то по идее я мог бы запустить до 100 потоков одновременно. Запас производительности есть. На практике же, запускается максимум 40-50 потоков и все равно остается 70-80% ЦП и оперативки свободной.

В этом плане рограмма ведет себя одинаково, что на моем ноутбуке, так и на сервере.

Удивительно то, что год назад на своем ноутбуке (и на почти таком же сервере) я работал с почти идентичным проектом для того же сайта и все работало нормально. Я мог запускать как минимум 40 потоков на ноутбуке (хотя тогда было даже не 8, а всего 4gb оперативки) и не меньше 100 на сервере. Сейчас на ноутбуке и 20 потоков нормально запустить не удается, а на сервере хоть и запускается больше, но нормально работает только при 20 потоках (хотя 80% ресурсов свободно).

Заранее спасибо за помощь! Буду рад предоставить дополнительную информацию. Знать бы какую.
 

copper12

Client
Регистрация
26.11.2016
Сообщения
1 111
Благодарностей
260
Баллы
63
Для увеличения количества запускаемых потоков попробуйте увеличить время выполнения шаблона в проекте.
 

copper12

Client
Регистрация
26.11.2016
Сообщения
1 111
Благодарностей
260
Баллы
63
Также проверьте следующие настройкиТаймауты_new.png
 

Alexander I

Client
Регистрация
04.11.2016
Сообщения
32
Благодарностей
3
Баллы
8
Для увеличения количества запускаемых потоков попробуйте увеличить время выполнения шаблона в проекте.
Шаблон зациклен внутри себя. Выполняется 20-30 минут.

Настройки почти такие, как вы прислали на скриншоте. Немного меньше. Попробую увеличить, как на скриншоте. Спасибо!

Но, в целом вопрос остается:

Почему свободно 70-80% ресурсов ПК, а новые потоки не запускаются? Хотя сама программа выдает, что может быть запущено 180 потоков.
 
Последнее редактирование:

Alexander I

Client
Регистрация
04.11.2016
Сообщения
32
Благодарностей
3
Баллы
8
Вот в чем главная проблема. Куча свободных ресурсов, а шаблоны начинают выполняться с ошибками. К тому же, количество потоков далеко не максимальное. Почему? В какую сторону копать?

К тому же, в шаблонах прописаны простои по 30-60 секунд. По идее, не должно быть проблем с большим количеством потоков. Тем более, что свободной оперативки куча.

П.С. Сколько соединений (threads) использует один Инстанс (работа через браузер) при подключении через прокси?

Заранее спасибо за помощь!
 

Вложения

Последнее редактирование:

VladZen

Administrator
Команда форума
Регистрация
05.11.2014
Сообщения
22 453
Благодарностей
5 913
Баллы
113
Перезагрузка инстансов есть в шаблонах? Раз они у вас зацикленные...
В логе ошибки инстансов. Толи они умирают, толи не запускаются, непонятно вообщем...
В настройках потоков какое кол-во потоков на один процесс стоит?
 

Gfoblin

Client
Регистрация
30.05.2013
Сообщения
4 596
Благодарностей
1 014
Баллы
113

Вот тут в 2 раза увеличь )
Если не поможет еще в 2...
Только над зенку перезапускать...

Количество потоков в одном процессе сколько?
 

Dimionix

Moderator
Регистрация
09.04.2011
Сообщения
3 068
Благодарностей
3 122
Баллы
113
Версия программы 5.3.1.0
1. Попробуйте уменьшить "Количество потоков в одном процессе" до 1 в настройках ZP, если конечно в этой версии есть такое.

2. На каких-то версиях ZP были проблемы с потоками, обсуждалось тут.

3. Попробуйте скачать и установить новую версию ZP demo (можно установить параллельно, без сноса своей версии) и протестировать на ней.
 

Alexander I

Client
Регистрация
04.11.2016
Сообщения
32
Благодарностей
3
Баллы
8
Перезагрузка инстансов есть в шаблонах? Раз они у вас зацикленные...
В логе ошибки инстансов. Толи они умирают, толи не запускаются, непонятно вообщем...
В настройках потоков какое кол-во потоков на один процесс стоит?
Перезагрузки нет. Смысл их тогда зацикливать внутри себя? Или я что-то не так понял? В любом случае, я пробовал добавлять в шаблон перезагрузку Инстанса. Ситуация та же.

Ошибки такие, что как будто не хватает ресурсов, чтобы нормально выполнить команду в инстансе. То есть, он запускается, но например страница в браузере не загружается по какой-то причине. Когда меньше потоков, то все норм. Начинаешь наращивать, сразу ошибки.

К тому же, ошибки ошибками, непонятно почему не набираются потоки, когда есть еще куча ресурсов и до максимума еще далеко?
 

AloneSlamer

Client
Регистрация
29.01.2013
Сообщения
1 404
Благодарностей
362
Баллы
83

Обращаем Ваше внимание на то, что данный пользователь заблокирован.
Не рекомендуем проводить с AloneSlamer какие-либо сделки.

Я бы категорически рекомендовал обновиться.
 
  • Спасибо
Реакции: VladZen

Alexander I

Client
Регистрация
04.11.2016
Сообщения
32
Благодарностей
3
Баллы
8

Вот тут в 2 раза увеличь )
Если не поможет еще в 2...
Только над зенку перезапускать...

Количество потоков в одном процессе сколько?
Стоит 180. А работает 50-60 от силы. Попробую поставить 300 :-)

В одном процессе сейчас 8 потоков, было 1. На 8 вроде бы ситуация лучше. По крайней мере больше потоков запускается. По ошибкам, наверное, одинаково.
 

Alexander I

Client
Регистрация
04.11.2016
Сообщения
32
Благодарностей
3
Баллы
8
1. Попробуйте уменьшить "Количество потоков в одном процессе" до 1 в настройках ZP, если конечно в этой версии есть такое.

2. На каких-то версиях ZP были проблемы с потоками, обсуждалось тут.

3. Попробуйте скачать и установить новую версию ZP demo (можно установить параллельно, без сноса своей версии) и протестировать на ней.
1. Пробовал ставить 1. Не помогает.
2. Почитаю. Спасибо!
3. Спасибо за идею. Попробую. Я то с удовольствием куплю обновление, если он поможет. Зено использую все для одной задачи и раньше все работало нормально. Не могу понял почему вдруг такие траблы. Если все осталось таким же...
 

Dimionix

Moderator
Регистрация
09.04.2011
Сообщения
3 068
Благодарностей
3 122
Баллы
113
Можно ещё создать какой-нибудь простой тестовый проект, например, с паузой и запустить его в несколько потоков. Таким образом убедитесь, что проблема не в Вашем шаблоне либо наоборот.
 

VladZen

Administrator
Команда форума
Регистрация
05.11.2014
Сообщения
22 453
Благодарностей
5 913
Баллы
113
у
Перезагрузки нет. Смысл их тогда зацикливать внутри себя? Или я что-то не так понял? В любом случае, я пробовал добавлять в шаблон перезагрузку Инстанса. Ситуация та же.

Ошибки такие, что как будто не хватает ресурсов, чтобы нормально выполнить команду в инстансе. То есть, он запускается, но например страница в браузере не загружается по какой-то причине. Когда меньше потоков, то все норм. Начинаешь наращивать, сразу ошибки.

К тому же, ошибки ошибками, непонятно почему не набираются потоки, когда есть еще куча ресурсов и до максимума еще далеко?
Вот такую настройку ещё попробуйте включить.
Forcing_performance.png
И все-таки рекомендуем обновиться. Версия 5.3.1.0 уже старенькая.
 

Alexander I

Client
Регистрация
04.11.2016
Сообщения
32
Благодарностей
3
Баллы
8
у

Вот такую настройку ещё попробуйте включить.
Посмотреть вложение 19291
И все-таки рекомендуем обновиться. Версия 5.3.1.0 уже старенькая.
Обновился. Взял выделенные прокси. Ошибок вроде бы нет, но потоки никак не растут.

На скриншоте видно, что набралось 19 потоков за пол часа. Дальше не растет хоть ты хны, хотя ресурсов свободных куча.

Все рекомендации по настройкам учтены.

Какие бы шаблоны "кривые" не были, почему они даже не пытаются запуститься?

П.С. Кстати, кто-нибудь знает почему частота процессора такая маленькая? Она бывает скачет, но редко. В Power Manager стоит Максимальная Производительность.
 

Вложения

VladZen

Administrator
Команда форума
Регистрация
05.11.2014
Сообщения
22 453
Благодарностей
5 913
Баллы
113
Обновился. Взял выделенные прокси. Ошибок вроде бы нет, но потоки никак не растут.

На скриншоте видно, что набралось 19 потоков за пол часа. Дальше не растет хоть ты хны, хотя ресурсов свободных куча.

Все рекомендации по настройкам учтены.

Какие бы шаблоны "кривые" не были, почему они даже не пытаются запуститься?

П.С. Кстати, кто-нибудь знает почему частота процессора такая маленькая? Она бывает скачет, но редко. В Power Manager стоит Максимальная Производительность.
Такое впечатление, что у вас в системе что-то ограничивает использование ресурсов.
 

Чешир

Client
Регистрация
27.06.2014
Сообщения
1 634
Благодарностей
963
Баллы
113
Может, есть смысл запусить "почти идентичный проект" который год назад работал на стареньком компе и посмотреть сколько потоков он наберет?
Относительно настройки "максимальная производительность" скажу просто: хотите быстро угробить ваш ноут - дело ваше. Но процессор и Северный Мост в таком режиме почти всегда перегреты.
 
  • Спасибо
Реакции: Alexander I

Alexander I

Client
Регистрация
04.11.2016
Сообщения
32
Благодарностей
3
Баллы
8
Может, есть смысл запусить "почти идентичный проект" который год назад работал на стареньком компе и посмотреть сколько потоков он наберет?
Относительно настройки "максимальная производительность" скажу просто: хотите быстро угробить ваш ноут - дело ваше. Но процессор и Северный Мост в таком режиме почти всегда перегреты.
Настройки стоят на сервере, так что мне как бы все равно.

Старый проект работать не будет так как верстка сайта изменена. В целом проект идентичен, не считая добавления работы с прокси. Прокси подгружаются из файла. Все списки синхронизированы с файлом. Всего их 4 используется.

А проект это просто посещение 10 страниц и нажатия на них ссылки.
 

Alexander I

Client
Регистрация
04.11.2016
Сообщения
32
Благодарностей
3
Баллы
8

VladZen

Administrator
Команда форума
Регистрация
05.11.2014
Сообщения
22 453
Благодарностей
5 913
Баллы
113

Alexander I

Client
Регистрация
04.11.2016
Сообщения
32
Благодарностей
3
Баллы
8

VladZen

Administrator
Команда форума
Регистрация
05.11.2014
Сообщения
22 453
Благодарностей
5 913
Баллы
113
Так стоит же максимальная производительность. Что может быть лучше?
Я не знаю, у майкрософта может быть все что угодно. Других версий нет, что CPU usage ограничивается на уровне системы.
я вам ранее уже советовал включить настройку, которая полностью всю загрузку на процессор переводит. Но все равно не работает.
 

Alexander I

Client
Регистрация
04.11.2016
Сообщения
32
Благодарностей
3
Баллы
8
Я не знаю, у майкрософта может быть все что угодно. Других версий нет, что CPU usage ограничивается на уровне системы.
я вам ранее уже советовал включить настройку, которая полностью всю загрузку на процессор переводит. Но все равно не работает.
А где это ограничение можно найти и убрать? Windows Server 2012 R2.
 

Alexander I

Client
Регистрация
04.11.2016
Сообщения
32
Благодарностей
3
Баллы
8
Всем спасибо за помощь. Проблема с медленным запуском новых потоков решена с помощью обновления до последней версии.

А по загрузке CРU...

Оказывается, была проблема с сервером. Процессор перегревался. Написал в суппорт и они подшаманили с охлаждением. Теперь все нормально.

Но!

Как всегда НО... :(

Целый день все работало замечательно. Я даже еще больше оптимизировал шаблон. Перевел что смог в C# и отключил загрузку стилей. В project maker все летало. В Zennoposter тоже целый день все шло более чем замечательно. Никаких ошибок. Скорость супер.

Со вчера же началось:

Примерно в 30-40% случаев вылетает ошибка "HTML элемент не найдет". Прокси те же. Индивидуальные. В project maker сколько не тестировал все работает идеально. Страницы грузятся мгновенно.

А когда запускаю в Зено даже в один поток, все равно вылетают ошибки. Запускаю проект и наблюдаю. Все идет хорошо. Потом он на каком-то шаге берет и вылетает. "HTML элемент не найдет" хотя я вижу, что нужная страница загрузилась.

Пробовал ставить задержку в пару секунд после загрузки страницы. Не помогло.

Подскажите, как посмотреть отчет, чтобы понять в чем проблема.

Заранее спасибо!
 

VladZen

Administrator
Команда форума
Регистрация
05.11.2014
Сообщения
22 453
Благодарностей
5 913
Баллы
113
Пробовал ставить задержку в пару секунд после загрузки страницы. Не помогло.
Скопируйте ID ошибки из лога в зеннопостер и посмотрите на каком экшне в проекте выпадает ошибка, можно нужно аттрибуты для поиска элемента получше задать.
http://zennolab.com/wiki/ru:debug_mistakes
 

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)