- Регистрация
- 26.07.2015
- Сообщения
- 282
- Благодарностей
- 48
- Баллы
- 28
Вообщем есть у меня файл с отработанными ссылками blacklist_urls.txt и файл со свежими ссылками temp_urls.txt
Оба файла привязаны к спискам. Шаблон в ходе работы берет с удалением строку с temp_urls.txt, проверяет наличие ее в blacklist_urls.txt и если она там есть - берет следующую с temp_urls.txt и так по кругу, если такой строки нету в blacklist_urls.txt, то идет с ней работать дальше.
Схема вроде проста и хороша, но на больших объемах (100к ссылок в файле) даже при многопотоке процесс отсеивания использованных ссылок идет очень медленно.
Вопрос: как можно за один раз сделать выборку таких строк в temp_urls.txt, которых нету в blacklist_urls.txt? Может есть кубик какой-то с C#?)
Оба файла привязаны к спискам. Шаблон в ходе работы берет с удалением строку с temp_urls.txt, проверяет наличие ее в blacklist_urls.txt и если она там есть - берет следующую с temp_urls.txt и так по кругу, если такой строки нету в blacklist_urls.txt, то идет с ней работать дальше.
Схема вроде проста и хороша, но на больших объемах (100к ссылок в файле) даже при многопотоке процесс отсеивания использованных ссылок идет очень медленно.
Вопрос: как можно за один раз сделать выборку таких строк в temp_urls.txt, которых нету в blacklist_urls.txt? Может есть кубик какой-то с C#?)