Выборка из большого файла csv

Nord

Client
Регистрация
22.03.2012
Сообщения
2 401
Благодарностей
1 467
Баллы
113
Привет!
Нужно из 15-20 гБ csv таблицы/файла сделать выборку по вхождению(5к фраз).
Как облегчить данную задачу?
Может какой то левый софт?
Зенка пас, пингвин пишет, что время ожидания несколько дней, да и вообще не факт
Я так понимаю, что весь дохуллиард строк поочередно проверяется на вхождение каждой фразы, а это уже проверка не 20Гб, а 100тБ
 

traffman

Client
Регистрация
30.11.2018
Сообщения
90
Благодарностей
99
Баллы
18
Привет!
Нужно из 15-20 гБ csv таблицы/файла сделать выборку по вхождению(5к фраз).
Как облегчить данную задачу?
Может какой то левый софт?
Зенка пас, пингвин пишет, что время ожидания несколько дней, да и вообще не факт
Я так понимаю, что весь дохуллиард строк поочередно проверяется на вхождение каждой фразы, а это уже проверка не 20Гб, а 100тБ
Бодро с большими текстами работает TextPipe Pro, нужно будет немного разобраться в критериях поиска, но в целом оч хорошая софтина. Есть взломы, но не последние версии
 
  • Спасибо
Реакции: Nord

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)