Помогите с парсингом текста

Moadip · 05.06.2016

Задачка интересная поэтому поковырялся. :-)

Для начала посмотрим на страницу и решим какие элементы будут вытаскиваться.
Вытаскиваться будут эти узлы через xpath, в них находится вся небходимая инфа.

Есть блоки с рекламой, а есть без. С рекламой будем выкидывать.
Как понять какие блоки с рекламой, а какие нет.

С рекламой

Без рекламы

Т.к. это "типа парсер" то страницы с яндекса будут браться через GET запрос, для скорости. :-)

Для работы с html страницей будет использоваться либа HtmlAgilityPack.dll.

Взяли страницу

Код:

var url = "https://yandex.ru/search/?lr=197&msid=1465109974.29885.22890.18047&text=%D0%9A%D1%83%D0%BF%D0%B8%D1%82%D1%8C%20%D1%80%D0%BE%D0%B7%D1%8B%20%D1%81%D0%B0%D0%B6%D0%B5%D0%BD%D1%86%D1%8B%20%D0%B4%D0%B5%D1%88%D0%B5%D0%B2%D0%BE%2C%20%D0%9A%D0%B8%D0%B5%D0%B2%2C%20%D0%A3%D0%BA%D1%80%D0%B0%D0%B8%D0%BD%D0%B0";

var response = ZennoPoster.HttpGet(
    url,
    "",
    "utf-8",
    InterfacesLibrary.Enums.Http.ResponceType.BodyOnly,
    5000,
    "",
    "",
    true,
    5,
    new []
    {
        "Host: yandex.ru",
        "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
        "Accept-Encoding: gzip, deflate, sdch",
        "Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.6,en;q=0.4",
        "Connection: keep-alive",
        "Upgrade-Insecure-Requests: 1"
    }
);

if(response == "")
{
    project.SendErrorToLog("Пустой ответ", true);
    return null;
}

return response;

Вытащили нужную инфу

Код:

var html = project.Variables["responseResult"].Value; // html страница

var doc = new HtmlDocument();
doc.LoadHtml(html); // создали объект HtmlDocument и загрузили в него html страницу

var nodes = doc.DocumentNode
    .SelectNodes(".//div[@class='serp-item']") // взяли нужные узлы
    .Select(n => n.FirstChild)
    .Where(n => n.FirstChild.GetAttributeValue("class", "") == "serp-item__title") // взяли без рекламы
    .ToList();
         

var list = new List<string>();

foreach (var node in nodes) // в цикле добавляем в список элемент состоящий из двух строчек
{
    var title = node.FirstChild.FirstChild.InnerText; // текст первой строчки
    var desc = node.SelectSingleNode(".//div[@class='path organic__path']").InnerText; // текст второй строчки

    list.Add(title + "\r\n" + desc); // добавил в список "двойную строчку"
}

var res = string.Join("\r\n", list); // объединил двойный строчки

return res;

Результат

ssXXXss · 05.06.2016

Код:

var url = "https://yandex.ru/search/?lr=197&msid=1465109974.29885.22890.18047&text=" + project.Variables["твоя переменая"].Value

kagorec · 05.06.2016

Отличное решение, а подскажите как можно каждый снипет (каждую строку индивидуально) обработать например:
* заменить символы на чтото свое
* перед каждой строкой добавить случайное словосочетание
:bw:

Moadip · 05.06.2016

kagorec сказал(а):
* заменить символы на чтото свое

Слишком абстрактно. Если в общим чертах то

Код:

var str = "какая то строка";
str = str.Replace("строка", "фигня");

На выходе будет - какая то фигня.

kagorec сказал(а):
* перед каждой строкой добавить случайное словосочетание

Создается список с случайными фразами. Потом рандомно берется из этого списка, и добавляется куда надо.

Код:

var list = new[] {"вася", "петя", "коля"}; // список рандомных фраз
var rnd = new Random();
var i = rnd.Next(0, list.Count()); // берем случайное число в пределах размера коллекции
var str = list[i]; // получаем фразу из списка по индексу

Для маньяков xpath.

Вот это

Код:

var nodes = doc.DocumentNode
    .SelectNodes(".//div[@class='serp-item']") // взяли нужные узлы
    .Select(n => n.FirstChild)
    .Where(n => n.FirstChild.GetAttributeValue("class", "") == "serp-item__title") // взяли без рекламы
    .ToList();
       
var list = new List<string>();
foreach (var node in nodes) // в цикле добавляем в список элемент состоящий из двух строчек
{
    var title = node.FirstChild.FirstChild.InnerText; // текст первой строчки
    var desc = node.SelectSingleNode(".//div[@class='path organic__path']").InnerText; // текст второй строчки
    list.Add(title + "\r\n" + desc); // добавил в список "двойную строчку"
}

Можно заменить этим

Код:

var list = doc.DocumentNode
    .SelectNodes(".//div[@class='serp-item']/div/h2[@class='serp-item__title']") // взяли все узлы без рекламы
    .Select(n => // берем каждый узел и делаем из него выходную строку
        n.InnerText + // взяли inner text
        "\r\n" + // добавили перенос строки
        n.SelectSingleNode("../div/div[@class='path organic__path']").InnerText) // поднялись до родительского узла, а затем спустились к нужному и взяли inner text
    .ToList();

rostonix · 06.06.2016

@Moadip ты крутой

ssXXXss · 06.06.2016

rostonix сказал(а):
@Moadip ты крутой

Вот такой у меня друган )))
Ну а если честно он спец в своём деле

Sobesednic · 09.09.2016

@Moadip
Подскажите пожалуйста если нужно спарсить только титлы или снипетты что нужно докрутить в этом коде?

Пробую подставлять

Код:

.//*[@class='text organic__text'] и .//*[@class='serp-item__title']

но не получается побороть.

Спасибо заранее.

Код:

var html = project.Variables["responseResult"].Value; // html страница
var doc = new HtmlDocument();
doc.LoadHtml(html); // создали объект HtmlDocument и загрузили в него html страницу
var list = doc.DocumentNode
    .SelectNodes(".//div[@class='serp-item']/div/h2[@class='serp-item__title']") // взяли все узлы без рекламы
    .Select(n => // берем каждый узел и делаем из него выходную строку
        n.InnerText + // взяли inner text
        "\r\n" + // добавили перенос строки
        n.SelectSingleNode("../div/div[@class='path organic__path']").InnerText) // поднялись до родительского узла, а затем спустились к нужному и взяли inner text
    .ToList();
var res = string.Join("\r\n", list); // объединил двойный строчки
return res;

Moadip · 09.09.2016

Подскажите пожалуйста если нужно спарсить только титлы или снипетты что нужно докрутить в этом коде?

Титлы и сниппеты это что? :-)

Если бы на скрине показали что конкретно надо, то тогда бы проще было составить xpath для выдергивания элементов.

Sobesednic · 09.09.2016

В большей степени стоит вопрос как взять только одну нужную часть (допустим все титлы на странице) и положить в переменную.

Спасибо.

Титл <title>

description (снипетты)

Moadip · 09.09.2016

Ну вот как то так.
http://prnt.sc/cg2h5y
http://prnt.sc/cg2hjx

http://prnt.sc/cg2l83
http://prnt.sc/cg2lcs

Код:

var html = project.Variables["responseResult"].Value;
var doc = new HtmlDocument();
doc.LoadHtml(html);

var nodes = doc.DocumentNode
    .SelectNodes(".//div[@class='organic']/*[contains(@class, 'serp-item__title')]/*[contains(@class, 'serp-item__title')]")
    .Select(n => n.InnerText);

foreach(var node in nodes)
{
    project.SendInfoToLog(node);
}

//---

nodes = doc.DocumentNode
    .SelectNodes(".//div[@class='organic']/div/div[@class='text organic__text']")
    .Select(n => n.InnerText);

   
foreach(var node in nodes)
{
    project.SendInfoToLog(node);
}

В общем основная фишка в чем, это составить xpath до ноды где есть нужный текст.
Тут тоже хитрость, напрямую указать путь к какой то ноде редко получается, приходится спускаться от одной ноды к другой.
От той ноды, которая точно иденифицируется.

Текст, он там тоже может быть не чистый, а скажем в тех же тегах <b>.

Но HtmlAgilityPack это норм воспринимает, просто у нужной ноды вызывается метод InnerText и все, он вытаскивает весь текст.

Еще одна фишка, к примеру вот так
*[contains(@class, 'serp-item__title')]
Любой тег в котором есть атрибут class и в значении которого содержится serp-item__title

Или вот так
*[@class='serp-item__title')]
Любой тег в котором есть атрибут class и значение которого точно равно serp-item__title

Вроде бы одно и тоже, но нет, разные вещи.
Бывает что значение атрибута содержит какую то основную постоянную и еще там какую то приписку, а бывает что всегда одно и тоже.
Поэтому тут по ситуации. C contains конечно более универсально, но зато больше писать.))

Sobesednic · 09.09.2016

Подскажите как результат положить в переменную, вот результат, просто пишет (ок), в логе действий есть спаршенный текст.

Спасибо=))

Moadip · 09.09.2016

Вернуть что то в свою переменную.
Но nodes в переменную не получится вернуть напрямую например так:
return nodes;

Т.к. в переменную можно вернуть только string, а nodes это IEnumerаble<string>.

Два варианта, или пихать в список, в зенке(думаю так как бы удобнее потом юзать), или если все таки надо в переменную, то например так:
return Join("\r\n", nodes);

Все что есть в перечислении, все элементы, объединятся в одну строку, и каждый элемент будет с новой строки.
Т.е вот так:
текст1
текст2
и т.д.

Если надо чтобы просто в одну строку, то тогда разделитель не "\r\n", новая строка, а " " - будет просто пробел.

Sobesednic · 09.09.2016

не хочет так выводить (return Join("\r\n", nodes); ошибка

Код:

"Ошибка в действии "CS0103" "Имя "Join" отсутствует в текущем контексте". [Строка: 12; Cтолбец: 8]"

Все разобрался, правильно так:

return string.Join("\r\n", nodes);

Еще раз огромное спасибо

ssXXXss · 09.09.2016

return string.Join("\r\n", nodes);
так попробуй

Sobesednic · 09.11.2016

@Moadip подскажите пожалуйста как вытянуть фото с помощью xpath по запросу с яндекса или гугла, что то не получается

тот же запрос тыц, как получить такую ссылку

Код:

http://knip.kiev.ua/uploads/0_3ddbc_7dd3a850_-1-L.jpg

amyboose · 09.11.2016

Moadip просто отлично шарит в парсинге. Возьму этот пост как один из примеров для изучения XPath

silent · 09.11.2016

Sobesednic сказал(а):
запрос тыц, как получить такую ссылку

Код:

http://knip.kiev.ua/uploads/0_3ddbc_7dd3a850_-1-L.jpg

у тебя же есть апарсер, который отлично с этим справляется

Sobesednic · 09.11.2016

silent сказал(а):
у тебя же есть апарсер, который отлично с этим справляется

одно другому не мешает :-)

silent · 09.11.2016

Sobesednic сказал(а):
одно другому не мешает

//div[@class='rg_di rg_bx rg_el ivg-i'][1]/a/@href
дальше сам уже разбирай линку

Sobesednic · 09.11.2016

двумя действиями и у меня получается :-)

, хотелось бы одним если это возможно из этого блока вытащить <div class="rg_meta">

silent · 10.11.2016

Sobesednic сказал(а):
двумя действиями и у меня получается , хотелось бы одним если это возможно из этого блока вытащить <div class="rg_meta">

а какая разница сколько действий, можешь конечно с помощью //div[@class="rg_meta"] забирать json и с ним уже работать, по любому будет больше 1 действия :-)

Moadip · 11.11.2016

Sobesednic сказал(а):
@Moadip подскажите пожалуйста как вытянуть фото с помощью xpath по запросу с яндекса или гугла, что то не получается

silent сказал(а):
а какая разница сколько действий, можешь конечно с помощью //div[@class="rg_meta"] забирать json и с ним уже работать, по любому будет больше 1 действия

Согласен. Не надо изобретать и пытаться все впихнуть в одно действие или одно выражение в коде.
Пусть лучше это будет несколько строк кода, но зато понятные.))
А по вопросу @silent уже ответил.

Pico · 23.12.2016

Здраствуйте ребята! При попытке выполнения проекта yaandex.xmlz выскакивает следующая ошибка ""The type or namespace name 'HtmlDocument' could not be found (are you missing a using directive or an assembly reference?)". [Строка: 3; Cтолбец: 15]". Библиотеку htmlagilitypack.dll в ExternalAssemblies добавил. Буду рад если кто-то сможет помочь.

Moadip · 23.12.2016

Два варианта, или dll не добавлена в сам проект, или не прописан using HtmlAgilityPack;
Собственно об этом в ошибке и написано.

Можно из без прописывания, тогда надо писать так HtmlAgilityPack.HtmlDocument

Pico · 23.12.2016

Moadip сказал(а):
Два варианта, или dll не добавлена в сам проект, или не прописан using HtmlAgilityPack;
Собственно об этом в ошибке и написано.

Можно из без прописывания, тогда надо писать так HtmlAgilityPack.HtmlDocument

заменил var doc = new HtmlDocument(); на var doc = new HtmlAgilityPack.HtmlDocument();
Теперь появилась другая ошибка
"The type 'System.Xml.XPath.IXPathNavigable' is defined in an assembly that is not referenced. You must add a reference to assembly 'System.Xml, Version=4.0.0.0, Culture=neutral, PublicKeyToken=b77a5c561934e089'.". [Строка: 3; Cтолбец: 1]"
При этом директива using System.Xml прописана. У меня такое ощущение что моя зенька вообще игнорирует директивы.

Moadip · 23.12.2016

Проверь чтобы были эти либы

Pico · 23.12.2016

Moadip сказал(а):
Проверь чтобы были эти либы

Добавил! Теперь выскакивает это:

Помогите с парсингом текста

Новичок

Client

Вложения

Новичок

Новичок

Client

Client

Client

Известная личность

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Кто просматривает тему: (Всего: 2, Пользователи: 0, Гости: 2)