Проблемы многопоточности.

[dooliver]

ZP стоит на достаточно мощном серваке - Xeon E2420 - 16Гб оперативки -по максимуму. С некоторых пор не хочет "раскручиваться" на многопоточность нормально. Задание простое - парсинг статического сайта -сайт работает быстро. Берем socks5 - платные, быстрые, ВСЕ работающие - т.е. беру без проверки из списка в шаблоне по очереди. Раньше в 50-70 потоков шпарило аж гай шумел- сервак трещал по швам))) Сейчас чтото непонятное - ставь хоть сколько потоков - работает от силы 10-20... ZP 5.0 не поменял ничего.
Вопросы:
1.Что это может быть?
2. Что влияет в настройках ZP на скорость и многопоточность? Вообще в хелпе нет нормального объяснения настроек. Что значит максимальное кол-во потоков - что значит количество потоков в одном процессе? Как сделать быстрее?? У меня рекомендует значение 80 потоков. Могу ли я его увеличивать?
3. Где НОРМАЛЬНО прочитать о настройках ИНСТАНСА? Я конечно не тот человек, к которому надо прислушиваться, но тем не менее эти английские слова ИНСТАНС, Таймаут - бесят. ГОСОПОДА, ВЕЛИК И МОГУЧ РУССКИЙ ЯЗЫК!!!!

 

[KirillOFF]

количество потоков в одном процессе?

Стоит попробовать установить это значение по максимуму, также увеличить число выполненных заданий до перезагрузки инстанса.

 

[dooliver]

спасибо! попробуем!

 

[dooliver]

в общем, господа так - у кого проблемы с многопоточностью - после долгих "игр" с настройками, и взрыву мозга пришел к следующему:
ПРИ ПЕРЕХОДЕ НА ВЕРСИЮ 4.3.7.1 ВСЕ СРАЗУ НАЧИНАЕТ ЛЕТАТЬ, И МНОГОПОТОЧНОСТЬ ПРАКТИЧЕСКИ МГНОВЕННО ДОСТИГАЕТ НЕОБХОДИМОЙ МНЕ ЦИФРЫ. Без каких либо шаманств и натсроек.
"Спасибо" господам разрабам как за "помощь" и "советы" в решении проблемы- так и за свежии версии ZP. Я остаюсь на старой....

 

[propostaff]

Для более быстрого парсинга сайтов в таких обьемах, я бы советовал использовать другие инструменты. К примеру фреймворк http://scrapy.org/

 

[strannic]

а 4.5.0.2 тоже не идет у тебя ?
у меня тоже проблемы с многопотоком, грузит проц на 100% от 15 потоков, инстансты по 600метров несмотря на то что стоит в шаблоне перезагрузка инстанса.

По поводу справки для настроек инстансов и вообще всех этим тонких таймаутов спрашивал саппорт - ноль эмоций.
Видимо это не для юзеров и справик по этим функциям мы так и не увидем =)

 

[rostonix]

в общем, господа так - у кого проблемы с многопоточностью - после долгих "игр" с настройками, и взрыву мозга пришел к следующему:
ПРИ ПЕРЕХОДЕ НА ВЕРСИЮ 4.3.7.1 ВСЕ СРАЗУ НАЧИНАЕТ ЛЕТАТЬ, И МНОГОПОТОЧНОСТЬ ПРАКТИЧЕСКИ МГНОВЕННО ДОСТИГАЕТ НЕОБХОДИМОЙ МНЕ ЦИФРЫ. Без каких либо шаманств и натсроек.
"Спасибо" господам разрабам как за "помощь" и "советы" в решении проблемы- так и за свежии версии ZP. Я остаюсь на старой....

А сколько по времени выполняется шаблон? Может инстансы не успевают просто подниматься, если завершаются быстро. И очередь в потоках не растет поэтому.

а 4.5.0.2 тоже не идет у тебя ?
у меня тоже проблемы с многопотоком, грузит проц на 100% от 15 потоков, инстансты по 600метров несмотря на то что стоит в шаблоне перезагрузка инстанса.

По поводу справки для настроек инстансов и вообще всех этим тонких таймаутов спрашивал саппорт - ноль эмоций.
Видимо это не для юзеров и справик по этим функциям мы так и не увидем =)

Настройки по-умолчанию носят оптимальное значение для большинства машин. И мы меняем их у пользователей крайне редко.
Значение какой настройки интересует?

Если считаете что шаблон создает излишнюю нагрузку, можете подробно описать ситуацию, со скринами системных ресурсов при выполнении, с характеристиками машины, и прсилашть шаблон нам на почту. Передадим разработчикам для теста.
http://zennolab.com/discussion/showthread.php?9975-П�-АВИЛА-ПОДАЧИ-БАГ�-ЕПО�-ТОВ&p=58059&viewfull=1#post58059

 

[dooliver]

А сколько по времени выполняется шаблон? Может инстансы не успевают просто подниматься, если завершаются быстро. И очередь в потоках не растет поэтому.

Да в том то вся и фишка, что при ЛЮБЫХ настройках старой версии многопоточность работает - а на новой при ЛЮБЫХ НЕ РАБОТАЕТ)))))

В ближайшее время допилю шаблон для баг репорта и отправлю)
А вообще, конечно, было бы неплохо задокументировать ВСЕ функции ZP
А то как то глупо -функции есть -документации нет))