Помогите советом. ГЕТ шаблон жрет 100% проца

[backoff]

Хай.
Написал шаб, парсит выдачу, сначала написал с использованием браузера, так как была капча и в лом было возиться. Сейчас решил переписать, на гетах, урезал шаблона на треть где-то, убрал проверку капчи, так как на норм проксях оказалось что просто не выдает капчу.

Запустил шаблон на гетах, и результат. 1 поток работает в 2 раза быстрее. Думаю "оо, отлично".
Фигачу сразу 30 потоков, и машина начинает охреневать от нагрузки, уменьшаю потоки до 15, такая же ситуация.
Хотя на старый шаб с браузером на 15 потоках ест всего лишь 40-50% проца....

В шабе нет циклов, нет диких парсингов, вообще ничего сверхъестественного, обычная легкая парсилка.

Это че за на фиг такой? С чем может быть связано?

PS| даже 3 потока на гетах грузят проц на 30-40%. шок

 

[doc]

поставил галку "не использовать браузер"?
Сколько потоков на процесс?

 

[backoff]

поставил галку "не использовать браузер"?

сначала нет, потом поставил, результат не изменился.

Сколько потоков на процесс?

10

 

[arhip1985]

у меня тоже такое было с одним сайтом, еси на других на гет-постах было по 150 потоков - 70% нагрузка на процессор, то на том сайте - один гет запрос - 3 потока - 90% нагрузка... я так и не понял в чём загвоздка

 

[arhip1985]

поставил галку "не использовать браузер"?
Сколько потоков на процесс?

так вроде - если поставил галку - не использовать браузер - галку на выделенный процесс - уже не поставишь, т.е. - количество потоков на процесс - это если инстансы браузерные поднимаются, и если без браузера - то эти настройки никак не влияют

 

[doc]

так вроде - если поставил галку - не использовать браузер - галку на выделенный процесс - уже не поставишь, т.е. - количество потоков на процесс - это если инстансы браузерные поднимаются, и если без браузера - то эти настройки никак не влияют

спрашивал на случай, если бы в самом зп 1 поток стоял.

 

[backoff]

магия какая-то, остальные проекты пост геты ваще не жрут ничего... яндекс заколдованный

 

[orka13]

Да может там классическая ситуация с нагрузкой из-за бага обработки регулярками. Если нет, то включи логи трассировки и смотри на каком кубике много времени жрет в многопотоке. Его и шлифуй.

 

[backoff]

как потом это вычислить? там будет просто нереально много инфы, как трассировку обработать?

 

[orka13]

ДА вручную в блокноте смотришь отдельный файл по 1 потоку, и ищешь где крупный показатель времени, в вики по ссылке в предыдущем посте это: |9757
ну или регуляркой:
\|\d{4,}$

 

[backoff]

нашел, на выполнение регуляки уходит 2.7-3.1 секунды, это много. Немного подправил регулярку, стало чуть меньше 1.2 - 2.6 секунды, все равно много на потоках грузит проц.
может поможете, вот исходники

https://pastebin.com/cvJVuTKL - это гет запрос (огромный, на форум не влез )

вытащить надо это:

ru.wikipedia.org/24smi.org/stuki-druki.com/www.kino-teatr.ru/russia.tv/www.peoples.ru/news.yandex.ru/diwis.ru/www.UznayVse.ru/http-wikipediya.ru/wiki2.org

юзаю вот такую регулярку на данный момент

(?<=\.net/favicon/).*?(?=\?color)

лагает видимо изза большого ответа в гете

 

[orka13]

скинь тупо весь шаблон, там ведь нет ничего секретного, можно в личку хоть.

 

[backoff]

скинь тупо весь шаблон, там ведь нет ничего секретного, можно в личку хоть.

тоже верно.

https://www.dropbox.com/s/tj93twj3fheb1h7/Парсинг сайтов 2.0 get.xmlz?dl=0

тестануть можно без прокси.
в ключи - любой ключ вписать

по сути все

 

[orka13]

Блин, ну там же на глаз видно что помогает решение с багами. Ты его хоть пробовал?

 

[backoff]

я не вкурил как воспользоваться

 

[orka13]

Ну так хоть бы сказал что не смотрел, так как не понял, а то тупо проигнорил....
http://c2n.me/3OjDW8f

UPD: Хотя нет, в твоем случае лучше просто подправь свой кубик поиска кукисов на такое:

string get_cookie = project.Variables["get_info"].Value;
string get_cookie = System.Text.RegularExpressions.Regex.Replace(Test, @"[{}]", "");
var Cookie = string.Join("; ", Regex.Matches(get_cookie, @"(?<=Set-Cookie:\ ).*?(?=;)").Cast<Match>().Select(x=>x.Value));
return Cookie;

 

[backoff]

Ну так хоть бы сказал что не смотрел

сорян, смотрел, но не сразу разобрался, спасибо, скорость парса сильно возросла.
а в чем прикол? какие-то теги удалились? так как сравнил ответы до и после, разница в 6 Кб

сейчас при 30 потоках нагрука 70%

 

[orka13]

Удалились скобки {}. Вроде как их в комбинации с некоторыми символами зенка воспринимает как какие-то макросы свои старые, и долго эти участки изучает, вот и весь прикол.

 

[backoff]

так и подумал
но не думал что так просто )

в общем спасибо!