Количество потоков!

[Kostass]

Ребята подскажите как оптимизировать потребляемое количество ресурсов зеннокой.
Задача заключается в том чтобы парсить большой ресурс, нуждаюсь в 50-100 потоках, но более 20 - 25 не хотят подыматься.
Паршу мобильную версию сайта, беру всего 4 значения со стр, отключена загрузка картинок флеш и т.д. с проксями и без проксей более 25 потоков не подымается, грешу на железо.

 

[rostonix]

Время выполнения проекта какое? Может потоки просто подняться не успевают.

 

[rostonix]

Или ресурсы системы все заюзаны?

 

[Kostass]

Время выполнения проекта какое? Может потоки просто подняться не успевают.

1-5 сек (заход на стр, сохранение данных), но хотелось бы быстрее.
Щас по ресурсам точно скажу.

 

[Kostass]

Что в настройках инстанса значит максимальное количество памяти ?

 

[Kostass]

сейчас запустил на другой машине там проц 2.3 Ghz, опреративы 3 гб, 64тиная ось.
при рекомендуемых 60 потоках запускаются примерно 15-25 потоков, оперативы занято 2000-2500 гб, еще почемуто у проца работает только 1 ядро, и занято скачками в 50-100%

 

[Kostass]

В целом результат работы выходит в среднем такойже как и на 5 поточной версии продукта ;(

 

[Kostass]

так кто нить чтот подскажет ?

 

[tonic]

Для увеличения производительности можно перевести шаблон на GET запросы, если это возможно. А так же при быстром выполнении сделать цикл (в разумных пределах), например если суть ходить по страницам и парсить - то 10-20 выполнений в цикле будут работать быстрее чем перезагрузка инстанса 10-20 раз.

 

[rostonix]

Потоки просто не успевают подниматься. Нужно увеличить время выполнения шаблона.

 

[Kostass]

перевести шаблон на GET запросы, если это возможно

Ребят где подробнее почитать? Не могу чет найти толково инфы (

 

[Kostass]

C Get запросами разобрался!
Скажите в цикл вводить с помощью настроек "Выполненных заданий до принудительной перезагрузки" ? Либо либо делать счетчик прямо в шаблоне?

 

[svaminar]

В ШАБЛОНЕ
счетчик + обработка счетчика