Пишем парсеры в Zennoposter на C#. Инструкция для новичков от новичка

[Gavrosh]

Пропиши ещё за циклом
package.Save(); //сохранение изменений

Точно, это не учел. Сразу заработало. Спасибо!

 

[Ikigai]

1) Какое преимущество xPath перед сбором по регуляркам с Page.Dom ? Если можно дайте пожалуста развернутый ответ.

Статья для новичков про парсинг, но ни слова про использование проксей. Сегодня писал парсер и не заюзал прокси , в итоге закрыли мне лавочку =).

2) Может кто пояснить какая польза от прокси чекера ? Я думал он дастает халявные прокси , но блин они же ни один сайт не открывают. В чем их смысл тогда?

 

[volody00]

1) Какое преимущество xPath перед сбором по регуляркам с Page.Dom ? Если можно дайте пожалуста развернутый ответ.

Статья для новичков про парсинг, но ни слова про использование проксей. Сегодня писал парсер и не заюзал прокси , в итоге закрыли мне лавочку =).

2) Может кто пояснить какая польза от прокси чекера ? Я думал он дастает халявные прокси , но блин они же ни один сайт не открывают. В чем их смысл тогда?

нет разницы, использовать регулярки или xpath. Если вам удобнее работать с регулярками, то почему бы и нет. Прокси устанавливаются с помощью instance.SetProxy(username:password@ip:port); при этом их можно брать из таблицы/списка, затем проверять, загрузился ли сайт и если нет, то брать следующие.

на счет прокси чекера ничего не могу сказать

 

[specialist]

@volody00 внимательно прочитал статью, но так и не понял, зачем тут используется Epplus?
Формулы не считаем, картинки не вставляем, пишем обычный csv текст фактически.

 

[radv]

Для новичков вполне достойная статья, хотя похожее можно собрать из нескольких других статей на форуме.

так и не понял, зачем тут используется Epplus?

Epplus не обязательно использовать для работы с формулами. Я например использую ее для работы с разными листами таблицы (зенка пока это не умеет), можно и с одним листом работать, чтобы код писать в одном стиле, не важно сколько листов будет использоваться.

 

[volody00]

@volody00 внимательно прочитал статью, но так и не понял, зачем тут используется Epplus?
Формулы не считаем, картинки не вставляем, пишем обычный csv текст фактически.

Да можно было бы и обычными таблицами пользоваться.

 

[specialist]

Я например использую ее для работы с разными листами таблицы

Как вариант, но тут про это не сказано.
Сфер применений много, но стандартный функционал дублировать, не понял зачем, поэтому и спросил.

 

[radv]

но стандартный функционал дублировать, не понял зачем, поэтому и спросил.

Просто иногда стандартный функционал глючить может (было у меня такое пару раз, после обновления версии зенки), а так сразу привыкаешь работать с таблицами, и можно копировать в свои сниппеты для использования в других проектах, и при необходимости добавлять дополнительный функционал (форматирование, доп. листы и т.п.)

 

[Gang]

1) Какое преимущество xPath перед сбором по регуляркам с Page.Dom ? Если можно дайте пожалуста развернутый ответ.

Статья для новичков про парсинг, но ни слова про использование проксей. Сегодня писал парсер и не заюзал прокси , в итоге закрыли мне лавочку =).

2) Может кто пояснить какая польза от прокси чекера ? Я думал он дастает халявные прокси , но блин они же ни один сайт не открывают. В чем их смысл тогда?

1. xPath в разы гибче для парсинга html чем регулярки. Особенно это можно прочувствовать на сайтах со сложной версткой, например Facebook.
2. Проксичекер парсит паблик прокси. Они как правило очень медленные и быстро умирают. Их обычно используют для всякого рода чекеров на post/get запросах, где нужно сделать 1-2 запроса и выбросить проксю. Для ботов на основе браузера, они бесполезны. Для браузерного трафика с прокгрузкой картинок, скриптов, css и т.д нужны скоростные покупные прокси.

 

[Ant55]

есть видео уроки по XPath
https://cloud.mail.ru/public/2dMD/5kV9aC2hc
также есть по С# уроки от него же
и по написанию спамеров
кому нужно пишите в лс кину остальные ссылки. Видео около15 гиг объемом

Так и не нашёл как в личку писать
Буду очень признателен за ссылки

 

[digitalboy228]

Если данные подгружаются значит их можно выдернуть запросом.

А есть ли конкретный пример? Был бы признателен.

Допустим в каком-нибудь яндексе.
Просто из того что удалось нагуглить, get - запросом , нельзя получить данные , которые скрываются за выполнением скриптов.

 

[Шива]

А есть ли конкретный пример? Был бы признателен.

Допустим в каком-нибудь яндексе.
Просто из того что удалось нагуглить, get - запросом , нельзя получить данные , которые скрываются за выполнением скриптов.

иногда нужно выполнять скрипты.
Иногда разбирать json

 

[digitalboy228]

иногда нужно выполнять скрипты.
Иногда разбирать json

Это я понял , что нужно выполнить, вопрос в том как это сделать?) В запросах.

Например в авторизации на Яндекс Дзен, допустим.
Пытался получить страницу get - запросом. но не удалось этого сделать и выпарсить данные канала.
Так как некоторые данные скрываются "quote"key"quote" ( не дословно, пример) , и что с этим делать не понятно.

 

[Brabus_bots]

Читал просто для интереса, т.к. уже знаком с Epplus.dll и xpath. Но автору респект просто за такие дотошные подробность и скрины)

 

[booms1]

/начало: подключение таблицы
var package = new ExcelPackage(new FileInfo(@"E:\zennoposter - проекты\для конкурса\наша табличка.xlsx")); //путь к табличке
ExcelWorksheet tabletest = package.Workbook.Worksheets[1]; //где tabletest - имя(любое) – лучше вообще никогда не менять, а 1 - номер листа в excel
//конец: подключение таблицы

Парни, как путь до таблицы задать в переменной?

 

[Valandersi]

/начало: подключение таблицы
var package = new ExcelPackage(new FileInfo(@"E:\zennoposter - проекты\для конкурса\наша табличка.xlsx")); //путь к табличке
ExcelWorksheet tabletest = package.Workbook.Worksheets[1]; //где tabletest - имя(любое) – лучше вообще никогда не менять, а 1 - номер листа в excel
//конец: подключение таблицы

Парни, как путь до таблицы задать в переменной?

project.Variables["Название переменной в которой путь к таблице"].value

Так путь попробуйте заменить

 

[booms1]

project.Variables["Название переменной в которой путь к таблице"].value

Так путь попробуйте заменить

не то https://prnt.sc/qvkj50 мешают скобки

 

[Valandersi]

не то https://prnt.sc/qvkj50 мешают скобки

Без ковычек, в ковычках будет считаться не как перемееная, а как текст

 

[booms1]

Без ковычек, в ковычках будет считаться не как перемееная, а как текст

Компиляция кода Ошибка в действии "CS1061" ""ZennoLab.InterfacesLibrary.ProjectModel.ILocalVariable" не содержит определение для "value". Не удалось найти метод расширения "value", принимающий первый аргумент типа "ZennoLab.InterfacesLibrary.ProjectModel.ILocalVariable" (пропущена директива using или ссылка на сборку?)". [Строка: 1; Cтолбец: 69]

var package = new ExcelPackage(new FileInfo(@project.Variables["c"].value));


var package = new ExcelPackage(new FileInfo(project.Variables["c"].value));

это при таких вариантах

 

[booms1]

Без ковычек, в ковычках будет считаться не как перемееная, а как текст

https://zennolab.com/discussion/threads/peremennye-proekta-v-c.46339/ нашёл похожую проблему, но не понимаю как интерпритировать

 

[Valandersi]

https://zennolab.com/discussion/threads/peremennye-proekta-v-c.46339/ нашёл похожую проблему, но не понимаю как интерпритировать

сейчас накидаю тестовый шаблон

 

[ibred]

Компиляция кода Ошибка в действии "CS1061" ""ZennoLab.InterfacesLibrary.ProjectModel.ILocalVariable" не содержит определение для "value". Не удалось найти метод расширения "value", принимающий первый аргумент типа "ZennoLab.InterfacesLibrary.ProjectModel.ILocalVariable" (пропущена директива using или ссылка на сборку?)". [Строка: 1; Cтолбец: 69]

Value необходимо писать с большой буквы.

 

[Valandersi]

Value необходимо писать с большой буквы.

точно))

 

[booms1]

var package = new ExcelPackage(new FileInfo(project.Variables["c"].Value));

Спасибо

 

[bangmother]

есть видео уроки по XPath
https://cloud.mail.ru/public/2dMD/5kV9aC2hc
также есть по С# уроки от него же
и по написанию спамеров
кому нужно пишите в лс кину остальные ссылки. Видео около15 гиг объемом

Добрый день. Не могу написать в ЛС, можете пожалуйста скинуть ссылки?

 

[paska]

есть видео уроки по XPath
https://cloud.mail.ru/public/2dMD/5kV9aC2hc
также есть по С# уроки от него же
и по написанию спамеров
кому нужно пишите в лс кину остальные ссылки. Видео около15 гиг объемом

Ссылка ведет на 404. Можете скинуть видео в личку?

 

[lbvf65]

Выполнение действия CSharp OwnCode. The file is not an valid Package file. If the file is encrypted, please supply the password in the constructor.

 

[TeslaCo]

Здравствуйте, подскажите как после подключении второй вкладки из xlsx

var package = new ExcelPackage(new FileInfo(@"C:\contt\price.xlsx")); //путь к табличке
ExcelWorksheet tabletest = package.Workbook.Worksheets[2]; //где tabletest - имя(любое) – лучше вообще никогда не менять, а 1 - номер листа в excel
//конец: подключение таблицы

сохранить всю информацию с этой вкладки или в файл, или привязать к таблице в zenno? заранее благодарен за помощь.