Помогите с блеклистом!

[leva001]

Вообщем есть у меня файл с отработанными ссылками blacklist_urls.txt и файл со свежими ссылками temp_urls.txt

Оба файла привязаны к спискам. Шаблон в ходе работы берет с удалением строку с temp_urls.txt, проверяет наличие ее в blacklist_urls.txt и если она там есть - берет следующую с temp_urls.txt и так по кругу, если такой строки нету в blacklist_urls.txt, то идет с ней работать дальше.

Схема вроде проста и хороша, но на больших объемах (100к ссылок в файле) даже при многопотоке процесс отсеивания использованных ссылок идет очень медленно.

Вопрос: как можно за один раз сделать выборку таких строк в temp_urls.txt, которых нету в blacklist_urls.txt? Может есть кубик какой-то с C#?)

 

[doc]

на c# возможностей побольше. И тут было масса тем, поискал бы. А если в обход кода, то ты объединяешь список блэклиста в переменную, и экшеном обработки текста ищешь в переменной свою ссылку

 

[leva001]

на c# возможностей побольше. И тут было масса тем, поискал бы. А если в обход кода, то ты объединяешь список блэклиста в переменную, и экшеном обработки текста ищешь в переменной свою ссылку

Сейчас так и работает в обход кода, но это на больших объемах долго очень, т.к. берется каждая ссылка и сравнивается. Если есть где-то на форуме код C# - ткните пальцем, буду благодарен.

 

[ZennoScript]

Сейчас так и работает в обход кода, но это на больших объемах долго очень, т.к. берется каждая ссылка и сравнивается. Если есть где-то на форуме код C# - ткните пальцем, буду благодарен.

http://zennolab.com/discussion/threads/poisk-po-spiskam-i-tablicam-cherez-c-makros.10734/

 

[Lexicon]

http://zennolab.com/discussion/threads/chernyj-spisok-korrektnaja-realizacija.13705/