Парсинг Title на разных сайтах с помощью POST/GET

[bismark132]

Всем привет, есть необходимость парсить тег title на разных сайта, возможно ли это сделать на POST/GET запросах. И если да то подтолкните к правильному решению.)

 

[gevolushn]

Вы про это?

Если да, то не вижу проблемы парсить регуляркой.

Правда я думаю можно не всю страницу выгружать запросом, а только наименьшую часть, где есть title. Но тут я пока слаб.

 

[minsky]

А не проще уже готовым софтом? Чем мучаться

 

[bismark132]

Вы про это?
Посмотреть вложение 39122
Если да, то не вижу проблемы парсить регуляркой.
Посмотреть вложение 39123
Правда я думаю можно не всю страницу выгружать запросом, а только наименьшую часть, где есть title. Но тут я пока слаб.

Да, про это. Для парсинга регуляркой в любом случае будет лишняя нагрузка на железо. Мне бы хотелось парсить этот метатег без парсинга содержимого страницы.)

 

[bismark132]

А не проще уже готовым софтом? Чем мучаться

А можно ссылку на готовое решение?

 

[gevolushn]

А можно ссылку на готовое решение?

Я конечно дико извиняюсь, но почему нельзя воспользоваться или головой, или поисковиком?
https://netpeak.net/ru/blog/avtomatizirovanniy-parsing-saytov-s-pomoshchyu-kimono-i-tablits-google/
https://netpeak.net/ru/blog/instrumenty-dlya-parsinga-v-rabote-seo-spetsialista/
Две первые ссылки, которые я нашел в гугле. А также можно было самому разобрать где и почему находится тег title.

 

[bismark132]

Я пробовал работать с гуглом, но там не все title отображаются в нужной кодировке, в итоге получаем кучу кракозябр, как решить этот момент я так и не понял.

Сложность работы с гет/пост в моем случае будет в том, что сайты будут разные и, скорее всего, нужно писать парсер для каждого сайта, что точно не вариант (но может я что-то не понимаю, так как только начинаю изучать гет/пост). Как вариант можно парсить примерно первые 100 строк страницы и уже в них искать нужный код, но опять же хочется чтобы парсились именно нужные данные без парсинга лишнего содержимого.

 

[Astraport]

Лучший софт для подобных задач

 

[bismark132]

Лучший софт для подобных задач

Не, не то. Мне нужен именно тег, а не контентное содержание.

P.S. Подскажите сайты или может плейлисты на ютубе где можно начать изучать C# для использования в зенке.

 

[Lord_Alfred]

Реализовывал такой функционал в своем конвейере по парсингу ключевиков

 

[minsky]

А можно ссылку на готовое решение?

Вот простенький и рабочий http://programmict.ru/parser-zagolovkov-stranic-title/

 

[minsky]

Не, не то. Мне нужен именно тег, а не контентное содержание.

P.S. Подскажите сайты или может плейлисты на ютубе где можно начать изучать C# для использования в зенке.

Кстати, да хорошее решение, тег тоже вытягивает