Собранные ссылки с поиска почистить регуляркой на содержание имени в ссылки, т.е. на yabs.*
Не совсем понял, последняя ссылка это рекламная или нет? Для себя писал проект так: сбор ключей по списку 1 этап - положить в список 1, сбор ключей - реклама 1 этап2 ( по тому-же ключу) положить в список 2 . После окончания всего сбора из списка 1, удалить значения списка 2. Или я может не совсем понял что имелось ввиду?
)
var urls = project.Variables["urls"].Value.Split('\n');
var urlsByHosts = urls.ToLookup(u =>
{
Uri uri = null;
if(Uri.TryCreate(u, UriKind.Absolute, out uri))return uri.Host;
return null;
});
var filtered = urlsByHosts.Where(u => u.Key != null).Select(u => u.OrderByDescending(x => x.Length).FirstOrDefault())
.ToArray();
var result = string.Join("\n", filtered);
return result;