Зеннопостер не запускает во все потоки

[СамСебеСамса]

Серверный комп:
48 гиг памяти+быстрый нет.
В настройках постера стоит 300 потоков максимум.
Проект представляет из себя заход на страницу, совершение 5-6 действий, паузу небольшую и всё.
В итоге в 25 потоков запустится не может.

 

[backoff]

значит зенка просто не успевает запустить все потоки, так как они быстро выполняются...

есть решение: просто сделайте шаблон замкнутым, то есть, когда шаблон выполнен, сделайте стрелочку от конца шаблона на начало ... все )

 

[Ribas]

значит зенка просто не успевает запустить все потоки, так как они быстро выполняются...

есть решение: просто сделайте шаблон замкнутым, то есть, когда шаблон выполнен, сделайте стрелочку от конца шаблона на начало ... все )

Ну вот зачем человеку советовать зацикливать шаблон? Чтобы потом на форуме появилась стопятьсотая тема по поводу того, что у него шабы всю оперативку отжирают?
Как вариант зациклить на 10-20 повторений, не больше, бесконечный цикл - зло.

 

[СамСебеСамса]

за 18 минут выполнилось всего 200 раз...
пускай на 1 проект там уходит секунд 20.
в итоге 25 потоков умножаем на 18 минут/3 = 1350 раз должны были выполниться за 20 минут как минимум..А чуть работает..
тут дело не в быстрых потоках...

 

[backoff]

Ну вот зачем человеку советовать зацикливать шаблон? Чтобы потом на форуме появилась стопятьсотая тема по поводу того, что у него шабы всю оперативку отжирают?
Как вариант зациклить на 10-20 повторений, не больше, бесконечный цикл - зло.

соглашусь, с тем что можно на определенное количество повторений делать.
но я обычно простые шаблоны на бесконечность циклю, они прогоняются быстро.

тут дело не в быстрых потоках...

именно в них

 

[doc]

за 18 минут выполнилось всего 200 раз...
пускай на 1 проект там уходит секунд 20.
в итоге 25 потоков умножаем на 18 минут/3 = 1350 раз должны были выполниться за 20 минут как минимум..А чуть работает..
тут дело не в быстрых потоках...

не учитывается время на поднятие потока, всякую инициализацию и т.д.

 

[VladZen]

Настройки инстансов нужно выставить вот так:

Также рекомендуем почитать вот эту статью - http://zennolab.com/wiki/ru:project-optimization

 

[S16er1um]

за 18 минут выполнилось всего 200 раз...
пускай на 1 проект там уходит секунд 20.
в итоге 25 потоков умножаем на 18 минут/3 = 1350 раз должны были выполниться за 20 минут как минимум..А чуть работает..
тут дело не в быстрых потоках...

Почитай, что тебе пишут) Если шаблон очень короткий, то он открывается, проганяется и закрывается. На этом всё. Добавь в шаблон зацикливание на 20 раз. Увидишь разницу. То есть добавь условие ИФ какая-та переменная меньше 20 , например, (или свою цифру укажи) и бахни стрелочку в начало.
Зенка тратит 1+-1 секунду на поднятие нового потока. В итоге у тебя и не выходит то количество, которое ты ожидаешь, потому что, в тот момент когда открывается 30ый - закрывается 1ый, и тд...

 

[СамСебеСамса]

да ладно...по 0 потоков висит в разных шаблонах абсолютно

 

[СамСебеСамса]

Вот

 

[S16er1um]

А тут что?

 

[VladZen]

да ладно...по 0 потоков висит в разных шаблонах абсолютно

Смотрели мои рекомендации?

 

[jasblack]

Сегодня столкнулся с подобной проблемой. Обладатель про версии. До 3-5ти шаблонов многопоток идет нормально, но попытался 11 заданий добавить каждый 4 потока макс.. Итог, где то стоит по нулям. Ранее с потребностью параллельной работы более 5ти шаблонов не сталкивался. 2-3 шаблона спокойно разгонялись до 20-60 потоков.

 

[jasblack]

Смотрели мои рекомендации?

Настройки выставил по вашей рекомендации, зенку соответственно перезапустил. Результат тот же.

 

[vredin]

у похожая проблема, версия standard, отключены изображения на сайте который пытаюсь парсить.
упорно более 1 потока не включает http://joxi.ru/1A51VxgSqaOqAE
шаблон простой - нет ни прокси, ни каптчи, ни плагинов. Сайт простой - только изображения через js подгружаются.
RAM 8Gb, 30Mbit интернет
И это очень грустно видеть очередь из 6к ссылок которые нужно спарсить в один поток ((

 

[VladZen]

у похожая проблема, версия standard, отключены изображения на сайте который пытаюсь парсить.
упорно более 1 потока не включает http://joxi.ru/1A51VxgSqaOqAE
шаблон простой - нет ни прокси, ни каптчи, ни плагинов. Сайт простой - только изображения через js подгружаются.
RAM 8Gb, 30Mbit интернет
И это очень грустно видеть очередь из 6к ссылок которые нужно спарсить в один поток ((

Максимум потоков какой стоит?

Также таймауты инстансов - http://zennolab.com/discussion/threads/zennoposter-ne-zapuskaet-vo-vse-potoki.30486/#post-219573

 

[vredin]

Максимум стоит 5 потоков (standard version), таймауты выставил как в статье.. 16 гигов оперативки, многомегабитный канал.

может ли такое быть из-за шаблона? раньше он был из 3х итераций: собираем ссылки на категории, собираем ссылки на товары, собираем информацию из карточек товаров. Все через списки и файлы. Сейчас итерации раскидал по 3м шаблонам. т.е. в 3м шаблоне в цикле достаются строки из листа(завязанного на файл), анализируется страница и выгружается нужная информация в другой файл. возможно ли что 1 поток из-за блокировок файла?

 

[VladZen]

может ли такое быть из-за шаблона? раньше он был из 3х итераций: собираем ссылки на категории, собираем ссылки на товары, собираем информацию из карточек товаров. Все через списки и файлы. Сейчас итерации раскидал по 3м шаблонам. т.е. в 3м шаблоне в цикле достаются строки из листа(завязанного на файл), анализируется страница и выгружается нужная информация в другой файл. возможно ли что 1 поток из-за блокировок файла?

Сколько по времени выполняется шаблон?

 

[vredin]

шаблон зациклен, т.е. пока не выберет все строки из листа.
а строк по-разному, от 50 до десятков тысяч

соответственно выполняется шаблон от десяти минут до нескольних дней сейчас в 1 поток.

upd. проблема была в моем понимании! поставил несколько прогонов скрипта и программа начала его бежать в количестве потоков равному количеству прогонов

 

[globator]

Тоже самое проблема. Оперативка 16 гб. Максимум потоков 10. Ссылок в списке 1000. По окончанию возвращается к списку и берет ссылку, пока строк не закончится не остановится. Но не смотря на это не поднимается выше одного потока. Поднять можно, но только если добавить вручную в "Сколько делать" 10. Но этот параметр по окончанию становится 0 и при следующем запуске через планировщик поднимается максимум до 1. Приходится вводить вручную. Версия про

 

[Sergodjan]

Но этот параметр по окончанию становится 0 и при следующем запуске через планировщик поднимается максимум до 1. Приходится вводить вручную. Версия про

в расписании Добавлять число попыток можно прописать сколько нужно, видимо у вас там стоит 1..

 

[globator]

Спасибо!