Удаление дубликатов парсинга

[Nord]

После парсинга сохраняется почти 1 к ссылок. процентов 10 дублируются. Есть ли какое-нибудь регулярное выражение или макрос, чтоб почистить повторы в файле?

 

[Hungry Bulldozer]

В макросах обработки строк есть макрос удаления дубликатов
{-String.RemoveDuplicates-|--|-|-}