Какой программой убирать дубли, если строк 2-3 000 000 или больше?

[smartwisard]

Если зенка справится, то как, подскажите, пожалуйста! Или помогите ссылками на темы.

Заранее благодарю.

 

[Sergodjan]

Если зенка справится, то как, подскажите, пожалуйста! Или помогите ссылками на темы.

Заранее благодарю.

Со списком на 1,5 млн строк у меня точно работало нормально и быстро.
Думаю и с 2-3 млн не должно быть проблем.

Если будут все же проблемы, то попробуйте программу KWK (Key Word Keeper)

 

[orka13]

Или если больше, то есть спецсофт.

 

[smartwisard]

Отлично, благодарю!
Это я немного спарсил мой мир. И тут я увидел ещё парсеры )))

Барсик - парсер организаций Яндекс.Карты: 70$
Парсер всей базы анкет и фото с Mamba.ru: 40$ ||| Ну и остальные мои шаблоны, которые не влезли в подпись

 

[grin-du]

Если зенка справится, то как, подскажите, пожалуйста! Или помогите ссылками на темы.

Заранее благодарю.

Вот попробуй этим батником сделать. Просто закидиываешь в папку файл батника и файл текстовый и запускаешь батфайл.

 

[x_tonic]

Вот попробуй этим батником сделать. Просто закидиываешь в папку файл батника и файл текстовый и запускаешь батфайл.

Может кто-нибудь объяснить ход действий, доступным языком для новичка? Или подсказать где есть урок по батнику?

 

[ТРОН]

Может кто-нибудь объяснить ход действий, доступным языком для новичка? Или подсказать где есть урок по батнику?

Так а что не понятного в словах "Просто закидиываешь в папку файл батника и файл текстовый и запускаешь батфайл.".
На выходе получаешь, файл с повторами, и очищенный файл