Api Яндекс Дзена - Парсер данных

[guloc]

​

Всем привет, в прошлом конкурсе статей, рассказывал об уязвимостях сайтов, в частности Яндекс районов. В данном конкурсе уже шаблонов, решил поделится шаблоном который работает по Api Яндекса. Если кто то уже юзал данный сервис и хотел автоматизировать, то наверняка видел, что официального api у Яндекс Дзена нет.
Но не будем отчаиваться и заглянем в код страницы и введём в поиске api и увидим данную ссылку:

https://zen.yandex.ru/api/v3/launcher/export?clid=300&country_code=ru

По которой мы и можем перейти и увидеть большое количество ссылок и команд, для сбора данных и различных действий (лайки, дизлайки, жалобы и тд.)
Сам шаблон писался для сбора уникального контента. Заметил что на некоторых статях стоит запрет на индексацию, и такие статьи хотел найти но по api, как оказалось такие не найти или я плохо искал и поэтому решил переделать шаблон для сбора данных.

Что умеет шаблон?
1. Парсить данные (Название статьи, название канала, дата публикации, ссылка на статью, ссылка на канал, ссылка на аватарку и статус статьи)
2. Удалять дубли
3. Удалять каналы которые ведут на различные сайты
4. Парсить статьи с Яндекс дзена

Парсит быстро на гет запросах + json

Для чего шаблон может пригодится?
1. Для сбора баз каналов (можно создать сайт с каналами Яндекс дзена, конкуренции особо нету)
2. Для сбора статей для дорвеев
3. Для арбитража (на некоторых каналах огромное количество просмотров - можно договорится с авторами и сливать трафик на ваши продукты)
4. Можно покапатся и прикрутить лайкинг и дизлайкинг постов по api

Ещё раз хочу показать, что в коде сайтов можно найти много интересного. И это можно использовать для своей выгоды.

 

[nik.alex.2009]

А можно какую-то инструкцию получить? Как это настроить и запустить?

 

[guloc]

А можно какую-то инструкцию получить? Как это настроить и запустить?

Просто запускай и всё, укажи сколько страниц парсить, укажи парсить ли статьи или же просто нужно собрать базу данных каналов, там подсказки есть напротив блоков

 

[gnomza75]

на 5.27 зенке идут ошибки сразу.
Компиляция кода Ошибка в действии "CS0234" "Имя типа или пространства имен "RegularExpressions" отсутствует в пространстве имен "System.Text" (пропущена ссылка на сборку?)". [Строка: -18; Cтолбец: 19]
и еще куча ошибок.
файлы из папки скрпированны в ExternalAssemblies с заменой, зено перезагруженно.
и ошибка

 

[gnomza75]

и еще хотел спросить, статьи беруться только с главной дзена? и можно как то прописать во входящих настройках тематику парсинга каналов?
не пинайте, в пост гетах не шарю

 

[guloc]

на 5.27 зенке идут ошибки сразу.
Компиляция кода Ошибка в действии "CS0234" "Имя типа или пространства имен "RegularExpressions" отсутствует в пространстве имен "System.Text" (пропущена ссылка на сборку?)". [Строка: -18; Cтолбец: 19]
и еще куча ошибок.
файлы из папки скрпированны в ExternalAssemblies с заменой, зено перезагруженно.
и ошибка

Проверил на 5.31 всё работает. Ошибка указывает на неправильность установки библиотеки, нужно в ссылки из gac добавить
using HtmlAgilityPack;
using System.Xml;

 

[guloc]

и еще хотел спросить, статьи беруться только с главной дзена? и можно как то прописать во входящих настройках тематику парсинга каналов?
не пинайте, в пост гетах не шарю

Можно прописать но это через другое место надо парсить, там api не работает.

 

[wolfz]

А как сделать лайкинг или дизлакинг, какое там api?

 

[guloc]

А как сделать лайкинг или дизлакинг, какое там api?

Слил, тему щас уже Яндекс убрал всё)

 

[wolfz]

Слил, тему щас уже Яндекс убрал всё)

Только через веб получается?

 

[guloc]

Только через веб получается?

Если лайки дизлайки то да, парсить можно также через апи.

 

[Mavrikman]

Привет, а шаблон работает?

 

[JanCarlo]

Господа, а сами статьи никто не парсил с дзена?

 

[ContentPoster]

Не подскажете актуальную ссылку по которой можно методы для их апишки подглядеть? А то по этой https://dzen.ru/api/v3/launcher/export? там просто данные про мой текущий аккаунт, в который я сейчас залогинен.