Скорость работы и нагрузка

[danni]

Привет всем!
Пытаюсь разобраться с оптимальным количеством потоков и т.д.
У меня стоит лимит сейчас 1000. 450 на гет\посте(регистрация и подтверждение аккаунтов), это занимает около 30% ЦП и 10-20% ОЗУ(16гб и i7 4770). Если запускать только это, то скорость меня устраивает.
Если я начинаю запускать еще потоков 20-30 без гет\пост, обычный постинг на форумы например, то скорость сильно снижается, результаты кстати и у тех и у тех хранятся в одном файле(ссылки на страницы), может это важно, но не думаю. В итоге в сумме у меня проц и ОЗУ занято на 80-90%, моментами больше.
Мои средние знания потоков и операционки не позволяют мне понять как 20-30 потоков обычного ЗП так сильно влияют на остальные 450.
Касательно канала я 100% не скажу, сейчас хотел проверить, но сегодня ошибка весь день "Нет подключения к серверу", а так 1гбит, домашний ПК, когда работал а-парсер было занято около 2к и как-то все работало более-менее. (Сейчас я не знаю, насколько правдива картинка, ибо не могу заново тест провести, но где-то так: остальные-700, ТОР-40, Зеннопостер 2(это гет\посты только сейчас))
Вопрос собственно - почему так и что я могу сделать?

 

[danni]

С этими гет\постами никак не могу определиться сколько потоков ставить, с обычными ясно - сколько ресурсов хватит, а тут они почти ничего не занимают, вот только не думаю, что если я поставлю 5000 это будет в 10 раз быстрее, чем 500. Да я и не уверен, что 500 это не перебор и при 200 будет тоже самое, а мне просто нужно выжать максимум. Если кто-то разбирается - подскажите.

 

[Nick]

Я в этом невеликий спец, спрошу на всякий случай: вы когда в Project Maker проект открыли, на шестерёнку нажали — у вас там стоит галочка «Не использовать браузер»?

 

[danni]

Я в этом невеликий спец, спрошу на всякий случай: вы когда в Project Maker проект открыли, на шестерёнку нажали — у вас там стоит галочка «Не использовать браузер»?

да, хотя и не так давно я это нашел, а до этого 100 потоков гет\пост делал, теперь 500, стало лучше, но проблема именно в том, что если что-то еще запускать скорость резко падает.
Ну я вижу 3 варианта где-то: не хватает канала(но разве 20-30 потоков в обычном режиме так много могут решить относительно других?), общий файл куда сохраняют(но опять же 20-30 потоков, каждый запишет раз в секунд 5-10, фигня), ОЗУ(но вроде как занято 80% из 16гб)

 

[rostonix]

поток постера это браузер, да мы пытаемся засунуть несколько потоков постера в один браузер, но браузер сам по себе жрет много, много проца и много памяти. Эти потоки конкурируют с потоками, которые ждут POST и GET запросов, чем больше потоков в системе, тем больше накладные расходы на переключение между потоками.
поэтому все и тормозить начинает. Так что тут только экспериментальным путем, в зависимости от задачи подбирать, сколько и каких потоков.