Помогите удалить дубли строк

[xatchikzzz]

Есть файл в нем 47 миллионов строк... как можно удалить дубли строк....

 

[promeed]

Так как в файле 47 миллионов строк, а у меня в проекте 50 строк долго дубли удалялись, так что ставьте на ночь или как-то ещё.

 

[igoreff]

Именно зенкой удалить надо? Так то есть спец софт для такого, KeyWordKeeper, пингвин, EmEditor вроде тоже пойдет.

 

[xatchikzzz]

Именно зенкой удалить надо? Так то есть спец софт для такого, KeyWordKeeper, пингвин, EmEditor вроде тоже пойдет.

EmEditor - 4 дня стоял пробовал удалить дубни .. не вдержал закрыл
KeyWordKeeper - поддерживает только до 20лямов строк
пингвина незнаю...

 

[xatchikzzz]

Посмотреть вложение 91743
Так как в файле 47 миллионов строк, а у меня в проекте 50 строк долго дубли удалялись, так что ставьте на ночь или как-то ещё.

поставивьв больше 10 лямов строк ты поймешь что этот вариант не сработает

 

[Sergodjan]

Есть файл в нем 47 миллионов строк... как можно удалить дубли строк....

Такой вариант не пробовался?

https://zennolab.com/discussion/threads/batnik-dlja-udalenija-dublikatov-strok-v-bolshix-fajlax.21363/

 

[xatchikzzz]

Такой вариант не пробовался?

https://zennolab.com/discussion/threads/batnik-dlja-udalenija-dublikatov-strok-v-bolshix-fajlax.21363/

Это просто божественно то что надо! спасибо большое

 

[xatchikzzz]

c файлом в 9 гигов и 300 лямов строк не справился .. просто закрывается

Такой вариант не пробовался?

https://zennolab.com/discussion/threads/batnik-dlja-udalenija-dublikatov-strok-v-bolshix-fajlax.21363/

 

[orka13]

мое удаление дублей в ~1 миллиард строк (~100 гиг)