Процессор и регулярные выражения

danni

Client
Регистрация
01.07.2012
Сообщения
373
Благодарностей
6
Баллы
18
Всем привет! первый раз сталкиваюсь с огромной нагрузкой на проц из-за регулярок(возможно).
проц i7 вроде более менее, а тут загрузка под 100% при 50-90 потоках парсинга.
Выглядит примерно так:
upload_2017-12-6_21-49-49.png


Справа 2 "Заменить" - обрезка текста, ибо там выходит примерно 1мб, после обрезки 200кб, вроде не много же...
Это нормально, что такая нагрузка или проблема в чем-то другом?
И есть ли альтернативные методы работы с такой задачей?
 

Вложения

Sergodjan

Administrator
Команда форума
Регистрация
05.09.2012
Сообщения
22 469
Благодарностей
10 014
Баллы
113
Всем привет! первый раз сталкиваюсь с огромной нагрузкой на проц из-за регулярок(возможно).
проц i7 вроде более менее, а тут загрузка под 100% при 50-90 потоках парсинга.
Выглядит примерно так:
Посмотреть вложение 25141

Справа 2 "Заменить" - обрезка текста, ибо там выходит примерно 1мб, после обрезки 200кб, вроде не много же...
Это нормально, что такая нагрузка или проблема в чем-то другом?
И есть ли альтернативные методы работы с такой задачей?
при таком объеме замен, думаю, что это нормально..
особенно при таком кол-ве потоков..
 

danni

Client
Регистрация
01.07.2012
Сообщения
373
Благодарностей
6
Баллы
18
при таком объеме замен, думаю, что это нормально..
особенно при таком кол-ве потоков..
Так цель замен как раз уменьшить нагрузку) Я в своих действиях в данной ситуации не уверен, думал поможет, если объем текста будет меньше. Замены там 2, регулярок много.
 

Sergodjan

Administrator
Команда форума
Регистрация
05.09.2012
Сообщения
22 469
Благодарностей
10 014
Баллы
113
Так цель замен как раз уменьшить нагрузку) Я в своих действиях в данной ситуации не уверен, думал поможет, если объем текста будет меньше. Замены там 2, регулярок много.
думаю, что в ПМ если смотреть нагрузку и время, в течение которого идет операция замен, можно будет понять, замены грузят систему или последующий парсинг данных все же не оч. легок, даже после замен..
 

doc

Client
Регистрация
30.03.2012
Сообщения
8 685
Благодарностей
4 652
Баллы
113
регулярки регуляркам рознь. Скорость можно тестировать в конструкторе
 

danni

Client
Регистрация
01.07.2012
Сообщения
373
Благодарностей
6
Баллы
18
Кстати, вечный вопрос - после каждого выполнения заканчивать шаблон или вечный цикл? Или без разницы?
 

orka13

Client
Регистрация
07.05.2015
Сообщения
2 190
Благодарностей
2 208
Баллы
113
Кстати, вечный вопрос - после каждого выполнения заканчивать шаблон или вечный цикл? Или без разницы?
Если шаблон без браузера работает, то можно смело в цикле оставлять, там не должна память течь. Насчет регулярок:
1. Посмотри в логе PM, нет ли у тебя там предупреждений о макросах, типа как тут я писал.
2. Если нет, то в логе ZP трассировку включи, и определи какой блок жрет времени много, его и ковыряй.
Или давай шаблон в тему, либо в личку, посмотрим что не так.
 

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)