Ищу KeyWordKeeper, а лучше его прокаченный аналог. Обсуждаем софт для обработки тестовых файлов.

zennoman · 04.07.2017

http://rgho.st/8JNQhBzss

В своё время качал с официального сайта.

orka13 · 04.07.2017

Среди аналогов советую Penguin http://x-parser.ru/software/9-penguin.html . Но там последняя версия не запоминает в какой кодировке хранить, постоянно надо вручную указывать (по умолчанию ANSI), автор обещал поправить в будущем.

vadim1281 · 04.07.2017

Есть такой

https://yadi.sk/d/622obMwP3HEZTK

daymos · 04.07.2017

текстпайп про

zennoman · 05.07.2017

LightWood сказал(а):
Вирустотал показывает 7 заражений

Слышал что-нибудь про ложные срабатывания? :-)

У меня проверка показала 5 (5 / 57) заражений, выявленных какими-то нонейм "антивирусами" (AegisLab, AVware, Baidu, Rising, VIPRE), при том, что даже знатный параноик Касперский промолчал. Но решать тебе. Скачана эта версия мной была 100% с оригинального сайта, когда он ещё работал.

vadim1281 · 05.07.2017

у меня стоит, сам им пользуюсь долгое время, никаких вирусов не было выявлено

orka13 · 05.07.2017

Ну раз уж такая пянка пошла.... Опыта у меня много, свои базы ключей собирал, максимальные файлы с которыми работал – ~1 миллиард строк (~100 гиг). Вот мой опыт:

НЕ используйте:

"TextPipe PRO" - типа крутой, но чертовски медленно обрабатывает крупные файлы (больше 100 мб). Особенно на функции перемешивания. Он универсален, многофункционален. Но сильно проигрывает другим утилитам в быстродействии, потому уже больше года даже не запускал его. Он был актуален лет десять назад, сейчас говно говном. Его фишка - что можно сохранить сценарий с несколькими етапами обработки файла. Но на той же Зенке + C# блоках быстрее получится сделать подобное. А крупные файли они оба не скушают.

KWK KeyWordKeeper_5B5 - он на больших файлах режет\ковыряет строки в местах склейки, мне он очень жизнь попортил таким багом скрытым. Старая верия 4.х нормально работала, но с очень большими файлами просто стопорилась в начале обработке.

Вот актуальный список утилит для обработки txt:

Penguin - купил несколько лицензий (ПК + сервер), так как фриверсия имеет ограничения по функционалу\обьему файлов. Удаляю дубли, перемешиваю, делаю выборку по регуляркам. Правда при перемешивании он сильно жрет память (32 ГБ у меня), так что даю ему файлы не больше 10 ГБ. С остальными функциями проблем с размерами не заметил.

smf_sortcleaner.bat.exe - самая быстрая чистка на дубли в файлах до ~5-10 гиг у этого батника, все остальные мелкие проги отдыхают (Unified List Manager, Fast_Duplicates_Remover_v0.1, DupKill, truesort, tdk_Text Duplicate Killer). Он все в память грузит. Так что желательно через диспетчер задач смотреть, если память при обработке более чем на 90% заполнена, то он затягивает обработку, может и не закончить. Обычно если файл весил 5 гб, то памяти на него шло ~10 гб.

gnuwin32 - если файлы очень больше (тестировал на 10-100 гиг, Penguin еще тогда не существовал), то удобно удаление дублей на линуксе делать через команду «sort». Или как я сделал: установил себе на винду юникские консольные команды в пакете - http://gnuwin32.sourceforge.net .
Потом командой в CMD обработал (текстовку в папку «c:\33» закинул) :

Код:

sort -u -T c:\33 -o filename_no_dubli.txt filename.txt

Делает долго, но зато пределов в размере нет. Чистил так собственную базу метрики на 40 гиг (в финале). Где-то сутки вроде обрабатывало. ОЗП не грузить, просто медленно себе копирует файлы частями в пределах HDD, потихоньку чистя дубликаты. Ну и куча других функций там есть, типа выборки по списку регулярок и т.д.

EmEditor - текстовый редактор для работы с регулярками\автозаменой в больших текстовых файлах. Ищите та торентах версию с лекарством.

Amazing Keywords - купил лицензию для преобразования в формат AKDB и сверхбыстрой выборки из баз ключей.

backoff · 11.03.2018

orka13 сказал(а):
EmEditor - текстовый редактор для работы с регулярками\автозаменой в больших текстовых файлах. Ищите та торентах версию с лекарством.

дружище, очередной раз спасибо, просто спас

orka13 · 11.03.2018

backoff сказал(а):
дружище, очередной раз спасибо, просто спас

Ну раз пошел интерес к EmEditor, то скину здесь еще подсказки по работе с ним на примере таблиц с разделителем {-String.Tab-}:
"как в EmEditor отфильтровать строки в таблице по нужной фразе". Я ошибочно считал раньше, что удобной привычной фильтрации там нет, предполагается что для удобства можно отрывок до 1 млн строк импортировать в EXCEL («Данные > Из текста > Открыть файл > С разделителями, Unicode UTF-8 > Знак табуляции > Готово»). А если все же охота в этом редакторе то я делал через «Поиск>Закладка» в выделенном фрагменте (выделял перед этим нужный столбец, два раза кликнув над ним в панели линейки). И потом уже строки с закладкой копировал в отдельный документ («Правка > Закладки > Документа > Копировать строки»).

Но недавно я поискал в сети, и открыл для себя более удобный метод. Всего 4 клика, и получаем нужную фильтрацию в пределах любого столбца:

Кроме того, там есть поддержка регулярных выражений, так что если надо только какое-то слово искать, без родительских слов, в которые входит это слово («банк», но НЕ «банкомат»), то укажите вокруг нужного слова границы слов (символы «\b» на языке регулярок). Как на скрине:

Чтобы выделит несколько значений, используйте там расширенный фильтр, или символ «или» в регулярках: «|». Пример (регистр роли не играет):

Код:

\b(банк|Денежные переводы|обмен валюты)\b

backoff · 11.03.2018

подскажи как удалить все пустые строки? не могу найти

orka13 · 11.03.2018

в Notepad++:
"Правка > операции со строками > удалить пустые строки"

В EmEditor:
Меню поиска, активируем режим «регулярные выражения», вводим:

Код:

^$

Потом жмем «закладка».
Потом «Правка > Закладки > Документа > Удалить строки с закладками».

backoff · 11.03.2018

Чет не помогло.

все ввел, не нашел где кнопка "закладка"
попробовал через правку, написало, что было удалено всего 1 строка
попробовал просто заменить с регуляркой, пишет что заменил, но строки остались

orka13 · 11.03.2018

"Меню поиска" != "Меню замены".
"Ctrl+F" != "Ctrl+H"

backoff · 11.03.2018

блин так бы и писал
ctrl + F -> вводим символы -> закладка )))

я просто привык к горячим клавишам, не сразу понял что нужно ))

ps \ почему тогда в замене не работает эта тема ? ^$ заменить на пустоту

orka13 · 11.03.2018

Да не делай ты через замену, там могут всплыть косяки на юникс-документах с их переносами строк. Вот регуляряка для замены пустой строки вместе с переносом на пустоту, но хз насколько она универсальная:
^[\r\n]+

backoff · 11.03.2018

Сделал как ты описал, все огонь!

Можно как-то файл разделить на несколько файлов? например по 5 млн строк чтоб было

kapelan28 · 11.03.2018

backoff сказал(а):
Можно как-то файл разделить на несколько файлов? например по 5 млн строк чтоб было

В Penguin (платной версии) можно порезать файл по количеству строк. На счет других прог - не подскажу.

orka13 · 11.03.2018

kapelan28 сказал(а):
В Penguin (платной версии) можно порезать файл по количеству строк. На счет других прог - не подскажу.

Всегда проверяйте им же количество строк в сумме в выходных файлах, а то он у меня на всех последних версиях очень изредка на крупных файлах (пару гб) теряет пару строк после любой операции с файлом. Мелочь, но все же предупрежу. Старая 6 версия Пингвина и 4 версия KeyWordKeeper норм срабатывают.

inotoxic · 11.03.2018

backoff сказал(а):
Можно как-то файл разделить на несколько файлов? например по 5 млн строк чтоб было

TextPipe - умеет такое, работает очень быстро

ssXXXss · 11.03.2018

батник есть такой в три строки который разделит по нужному значению в секунды ))

backoff · 11.03.2018

ssXXXss сказал(а):
батник есть такой в три строки который разделит по нужному значению в секунды ))

заделись)

orka13 · 11.03.2018

inotoxic сказал(а):
TextPipe - умеет такое, работает очень быстро

Читайте мой пост выше. Он труп на крупных файлах.

backoff · 11.03.2018

ssXXXss сказал(а):
батник есть такой в три строки который разделит по нужному значению в секунды ))

жадина ну и ладно :ao:

ssXXXss · 11.03.2018

backoff сказал(а):
жадина ну и ладно

снова начинаешь )), я реально пытаюсь найти его и сам уже запутался в этих дисках и папках ))

backoff · 11.03.2018

ssXXXss сказал(а):
снова начинаешь )), я реально пытаюсь найти его и сам уже запутался в этих дисках и папках ))

не, я ваще подумал что ушел куданить :-)

это так, текст для подбадривания )))

ssXXXss · 11.03.2018

нашёл ))
сейчас выложу в отдельной ветке, немного опишу
там немного не правильно про строки написал, не тот батник описал тут, но не сильно различается

backoff · 11.03.2018

ну хоть бы ссылку запостил блин, сижу жду тут понимаешь

http://zennolab.com/discussion/threads/batnik-dlja-razdelenija-fajla-na-neskolko-fajlov-po-zadanomu-kollichestvu-strok.47051/

Ищу KeyWordKeeper, а лучше его прокаченный аналог. Обсуждаем софт для обработки тестовых файлов.

Moderator

Client

Client

Client

Client

Moderator

Client

Client

Client

Moderator

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)