- Регистрация
- 20.04.2015
- Сообщения
- 6 039
- Благодарностей
- 6 470
- Баллы
- 113
Хай.
Написал шаб, парсит выдачу, сначала написал с использованием браузера, так как была капча и в лом было возиться. Сейчас решил переписать, на гетах, урезал шаблона на треть где-то, убрал проверку капчи, так как на норм проксях оказалось что просто не выдает капчу.
Запустил шаблон на гетах, и результат. 1 поток работает в 2 раза быстрее. Думаю "оо, отлично".
Фигачу сразу 30 потоков, и машина начинает охреневать от нагрузки, уменьшаю потоки до 15, такая же ситуация.
Хотя на старый шаб с браузером на 15 потоках ест всего лишь 40-50% проца....
В шабе нет циклов, нет диких парсингов, вообще ничего сверхъестественного, обычная легкая парсилка.
Это че за на фиг такой? С чем может быть связано?
PS| даже 3 потока на гетах грузят проц на 30-40%. шок
Написал шаб, парсит выдачу, сначала написал с использованием браузера, так как была капча и в лом было возиться. Сейчас решил переписать, на гетах, урезал шаблона на треть где-то, убрал проверку капчи, так как на норм проксях оказалось что просто не выдает капчу.
Запустил шаблон на гетах, и результат. 1 поток работает в 2 раза быстрее. Думаю "оо, отлично".
Фигачу сразу 30 потоков, и машина начинает охреневать от нагрузки, уменьшаю потоки до 15, такая же ситуация.
Хотя на старый шаб с браузером на 15 потоках ест всего лишь 40-50% проца....
В шабе нет циклов, нет диких парсингов, вообще ничего сверхъестественного, обычная легкая парсилка.
Это че за на фиг такой? С чем может быть связано?
PS| даже 3 потока на гетах грузят проц на 30-40%. шок