14-летний Core i7 (ноутбук) VS новые i7,i9,Ryzen 9 (desktop) в Zennoposter

[Yablokoed]

Простой regex ищет 30 минут в 40GB файле на 14-летнем Core i7 (ноутбук).

Хоть ReadAllText, хоть StreamReader. Какая производительность будет на новых машинах, например Core i5-14600K, Core i7-14700K, Ryzen 9 9950X3D или мощнее?
Как за 5-10 секунд искать regex в 200GB файле?

 

[heks]

Простой regex ищет 30 минут в 40GB файле на 14-летнем Core i7 (ноутбук).

Хоть ReadAllText, хоть StreamReader. Какая производительность будет на новых машинах, например Core i5-14600K, Core i7-14700K, Ryzen 9 9950X3D или мощнее?
Как за 5-10 секунд искать regex в 200GB файле?

питон используй зенка под это не заточена. Дели на более мелкие файлы и их обрабатывай

 

[Yablokoed]

питон используй зенка под это не заточена. Дели на более мелкие файлы и их обрабатывай

Код на C#

 

[heks]

Выбирал на зенке регуляркой из файла 10 гигов занимало минут 40, на питоне тот же файл обработал минуты за 3

 

[Dmitriy Ka]

 

[izubr]

Диск заменить на ssd не поможет?

 

[Dobriyk0t]

Простой regex ищет 30 минут в 40GB файле на 14-летнем Core i7 (ноутбук).

Хоть ReadAllText, хоть StreamReader. Какая производительность будет на новых машинах, например Core i5-14600K, Core i7-14700K, Ryzen 9 9950X3D или мощнее?
Как за 5-10 секунд искать regex в 200GB файле?

А вы знаете толк в мазохизме

 

[Yablokoed]

А вы знаете толк в мазохизме

В сколько раз будет прирост производительности в regex при переходе на Core i5-14600K например?

 

[Yablokoed]

GPT пишет

Сравнение CPU (упрощённо):

CPU	Год	Ядра / потоки	IPC/архитектура	Оценка прироста
i7-1xxx (старый)	~2011	4 / 8	Sandy Bridge	базовая точка
i5-14600K	2023	14 (6P+8E)	Raptor Lake	+4–6x быстрее в однопотоке, до +10–15x при многопоточности
i7-14700K	2023	20 (8P+12E)	Raptor Lake	ещё выше в параллели
Ryzen 9 9950X3D	2024	16 / 32	Zen 5 + 3D V-Cache	лучший кэш → быстрые regex, до 20–25x ускорение

Предлагает код на C#, который читает файл чанками и запускает regex в параллели. Как в зенке сделать Hyperscan через обёртку?

 

[radv]

Пробовали перенести все данные из файла в БД (пусть даже локальную) типа MySQL?

 

[izubr]

Без перехода на скоростной ssd , при таких размерах файла, половина времени будет тратиться на считывание его. пока дело дойдет до обработки инфы кодом. ну и пропорционально для 200Гб *5 раз.
40Гб/120мб в сек для HDD = 33 с = 5,5 минут.
SSD-SATA = 40/550 = 72секунды
SSD-M2 которые можно вставить в современный ноут или с завода, от 3000 мб/сек = 12 сек или быстрее.

 

[Dobriyk0t]

В сколько раз будет прирост производительности в regex при переходе на Core i5-14600K например?

На мой взгляд вы неправильно ставите себе задачу. Как мне кажется ваша задача должна заключаться в разделении задачи на составляющие, а после решения.

Чтобы сделал я:
Разделение большого файла на небольшие и после поиск по ним. Причем, поиск регуляркой - это однопоток. Поэтому многопоток вам в помощь по разным файлам;
В какую еще сторону можно подумать: использование альтернативу регуляркам, например Aho-Corasick для поиска шаблонов, а уже после обрабатывайте.

 

[Yablokoed]

Разделение большого файла на небольшие и после поиск по ним

На лету или заранее перед запуском разбить файлы?

 

[Dobriyk0t]

На лету или заранее перед запуском разбить файлы?

Сначала делить, а после искать. Так бы я это сделал.