Удаление дублирующих строк в списке. Как такое реализовать?

[doc]

да мне без разницы, просто я много раз заметил что ты не уступаешь ни в одном предложении вот и подумал что сможешь такой видос записать, а ты оказывается просто съехал )

Да, несомненно) И совсем не важно, что я не писал о том, что зенно справится и что я могу это доказать и т.д., а ты писал, что обрабатываешь лярды строк за секунду. Это не важно. Важно, что по этой хромой на обе ноги логике спрыгнул не пойми с чего именно я, а не ты)

 

[ssXXXss]

хотя бы одно предложение покажи из сказаных своих слов, а особено где я именно обрабатываю, именно я а не то что есть решение

 

[doc]

хотя бы одно предложение покажи из сказаных своих слов, а особено где я именно обрабатываю, именно я а не то что есть решение

не ты начал понты кидать про обработку ярда строк? не ты потом написал про батник, который лям обрабатывает за секунда? Сначало ярды, потом лямы, потом можно и до тыщёнок спуститься)

 

[ssXXXss]

не ты начал понты кидать про обработку ярда строк? не ты потом написал про батник, который лям обрабатывает за секунда? Сначало ярды, потом лямы, потом можно и до тыщёнок спуститься)

да я тебе пример дал что бы ты хоты бы лямы в зенке обработал за секунды и показал этот вывод, так как у меня хоть есть видео на форуме которое за секунды обрабатывает 12 лямов, поэтому тут не понт а просто твои брызги

 

[ZennoScript]

12 лямов это ерунда.
Когда то была задача - нужно было проверять наличие данных из одного файла во втором и записывать результат в третий.
Всё бы ничего, вроди как обычная такая себе задачка. Вот только строк было в одном файле порядка 150 миллионов, а во втором больше лярда. Кодом это всё дело проверялось пару минут. При этом всё новое из первого файла всегда дописывалось во второй и у меня текстовый файл весил около гига.
Так что зенка не захлёбывается на таком, просто нужно подбирать правильный подход.
Да, тяжело, да, со скрипом, но делалось.

 

[ssXXXss]

12 лямов это ерунда.
Когда то была задача - нужно было проверять наличие данных из одного файла во втором и записывать результат в третий.
Всё бы ничего, вроди как обычная такая себе задачка. Вот только строк было в одном файле порядка 150 миллионов, а во втором больше лярда. Кодом это всё дело проверялось пару минут. При этом всё новое из первого файла всегда дописывалось во второй и у меня текстовый файл весил около гига.
Так что зенка не захлёбывается на таком, просто нужно подбирать правильный подход.
Да, тяжело, да, со скрипом, но делалось.

Да зенка не выдержит такой файл, NET не позволит

 

[ZennoScript]

Ну значит мне это приснилось.
Ты же лучше знаешь.

 

[ssXXXss]

а чё кто то про это другое скажет что NET даст больше позволеного обработать, из за чего все жалуются что памяти докуища а зенка вылетает

 

[ZennoScript]

Просто есть разница, как с этим работать.
Если бы эти файлы использовались для постинга или еще каких дел, то конечно - шаблон был бы непомерно тяжелым, а у меня в шаблоне был всего 1 блок с кодом, который всё это дело обрабатывал и всё срабатывало на ура, правда памяти в эти моменты использовалось порядка 10 гигов, но задача выполнялась и это главное.

 

[doc]

да я тебе пример дал что бы ты хоты бы лямы в зенке обработал за секунды и показал этот вывод, так как у меня хоть есть видео на форуме которое за секунды обрабатывает 12 лямов, поэтому тут не понт а просто твои брызги

ЗАЧЕМ МНЕ ОБРАБОТЫВАТЬ ЛЯМЫ В ЗЕНКЕ? зачем ты дал мне этот пример? Зачем мне что-то тебе показывать, если я на это не подписывался? я не писал, что зенно может с легкостью или не может обрабатывать такие обёмы. Так зачем я должен это сделать?

 

[ssXXXss]

ЗАЧЕМ МНЕ ОБРАБОТЫВАТЬ ЛЯМЫ В ЗЕНКЕ? зачем ты дал мне этот пример? Зачем мне что-то тебе показывать, если я на это не подписывался? я не писал, что зенно может с легкостью или не может обрабатывать такие обёмы. Так зачем я должен это сделать?

Зачем тогда вообще пишишь ?

 

[AShaggy]

ssXXXss,
К каждой задаче есть свой подход, и нужно реально понимать, что требуется в конкретной ситуации.
Все программисты знают правило оптимизации: выигрываешь время - проигрываешь в памяти. Ну и наоборот.
Если кому-то надо обрабатывать миллиарды (и т.д) строк данных, то он и будет искать и разрабатывать сложные решения (опять же учитывая где нужно выигрывать: в памяти или во времени).
А если данных немного, то и простенький алгоритм написанный "на коленке" за 30 секунд отлично справится. И не надо морочить голову.
Вот как с сортировкой: если нужно отсортировать 3 числа, Вы же не будете использовать QSort или того хуже метод Шелла. тут даже очевидно что квадратичный пузырек решит задачу.
Постер инструмент универсальный, а универсальность требует использовать понятные решения как для пользователей так и для программистов, иначе можно застрять на месте закопавшись в миллиардах мелочей.
Наезд на .Net мне тоже не ясен. Он не обязан решать за вас проблемы такого вида. Если просто брать и 20 ГБ файл пытаться считать ReadAllText - понятное дело он умрет. Для этого и существуют потоки в различных реализациях. (И кстати я готов поспорить, что программа на C# может отработать лучше или не хуже чем скрипт cmd или ps)

Все это сугубо мое личное мнение.