Regex - выдернуть регуляркой домен из списка URL и доменов

[Андрейка2020]

В-общем, имеется список рандомных url, как в виде конкретных доменов, так и в виде ссылок на определенные страницы, в том числе и параметрами, пример ниже.

https://metrika.site.ru/list?search=&type=all&sortField=counter&sortDirection=desc

http://site.guru

https://www.site.ru

http://www.forum.site.com/

forum.site.ru
www.site.info/

В результате работы хотелось бы получить следующий список:

metrika.site.ru
site.guru
site.ru
forum.site.com
forum.site.ru
site.info

То есть, результатом работы регулярки необходимо отсечь протокол и приставку www при ее наличии, а также хвосты и слеши при их наличии. При этом важно оставлять поддомены 3 уровня (кроме www) и чтоб ни одна строка из списка не потерялась...
Что бы я не пробовал, все равно получается бяка какая-то, то www останется, то хвост ссылки, то еще какая-нибудь дрянь.

 

[Phoenix78]

где то я читал, что регуляркой парсить домен, да еще и поддомены, это очень плохое дело.
для этих целей есть URI

https://zennolab.com/discussion/threads/iz-url-domen-reguljarka.19396/post-125508

 

[Sergodjan]

для этих целей есть URI

Этот метод не отсечет www и требует обязательного наличия префикса протокола в исх. строке.

 

[Андрейка2020]

для этих целей есть URI

sergodjan66 прав - данный код мне не подошел... Ну что ж, придется поиском-заменой реализовывать... Но в таком случае нужна регулярка, обрезающая хвост ссылки, то есть все, что после слеша после домена и сам слеш. Вопрос, как сделать это?

 

[porileenvej]

В-общем, имеется список рандомных url, как в виде конкретных доменов, так и в виде ссылок на определенные страницы, в том числе и параметрами, пример ниже.

https://metrika.site.ru/list?search=&type=all&sortField=counter&sortDirection=desc

http://site.guru

https://www.site.ru

http://www.forum.site.com/

forum.site.ru
www.site.info/

В результате работы хотелось бы получить следующий список:

metrika.site.ru
site.guru
site.ru
forum.site.com
forum.site.ru
site.info

То есть, результатом работы регулярки необходимо отсечь протокол и приставку www при ее наличии, а также хвосты и слеши при их наличии. При этом важно оставлять поддомены 3 уровня (кроме www) и чтоб ни одна строка из списка не потерялась...
Что бы я не пробовал, все равно получается бяка какая-то, то www останется, то хвост ссылки, то еще какая-нибудь дрянь.

//project.Lists["lst"] - список с сылками
//project.Lists["res"] - очищенный список

var lst = project.Lists["lst"].ToList();
lock(SyncObjects.ListSyncer)
{
    foreach(string s in lst)
    {
        string domain = s;
        if(domain.StartsWith("http"))
            domain = domain.Split('/')[2];
        if(domain.StartsWith("www."))
            domain = domain.Replace("www.", "");
        if(domain.Contains("/"))
            domain = domain.Split('/')[0];
        if(!project.Lists["res"].Contains(domain))
            project.Lists["res"].Add(domain);
    }
}

 

[Igorii]

С просторов форума:

    var url = project.Variables["url"].Value;

    url = url.ToLower();
    url = url.Replace("http://", "").Replace("https://", "").Replace("www.", "");

    if (url.IndexOf("/") > -1) {
     url = url.Substring(0, url.IndexOf("/"));
    }

    return url;

 

[Андрейка2020]

porileenvej, Igorii - благодарствие вас величайшее! Вот она, магия сишарпа в действии! Один сниппет на случай работы с переменной, второй со всем списком в целом! Круто!

 

[udder]

С просторов форума:

    var url = project.Variables["url"].Value;

    url = url.ToLower();
    url = url.Replace("http://", "").Replace("https://", "").Replace("www.", "");

    if (url.IndexOf("/") > -1) {
     url = url.Substring(0, url.IndexOf("/"));
    }

    return url;

Как подправить снипет чтобы и сабдомен вырезал?

 

[doc]

Как подправить снипет чтобы и сабдомен вырезал?

Саб можно определять по разным критериям. Тут нужно уточнение что именно считать сабом

 

[Sergodjan]

Как подправить снипет чтобы и сабдомен вырезал?

По снипету может кто то еще подскажет.
Но можно регуляркой брать главный домен из ссылки: [\w-]+\.\w+(?=/|\n|$)
Источник здесь: https://zennolab.com/discussion/threads/kak-otchistit-spisok-ot-musora.29275/post-233043