Парсинг статистики канала Яндекс Дзен (get/post)

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Описание

Шаблон парсит с канала название и ссылки на статьи (либо все, либо указанное во входных настройках количество).
Далее по каждой ссылке парсит название статьи, дату публикации, просмотры, дочитывания, лайки, комментарии и суммарное время просмотра в секундах.
Среднее время чтения высчитывается из суммарного. Суммарное время делится на количество просмотров и переводится в минуты с округлением до 0.5 минуты.
Полученные данные записываются строкой в таблицу.
Когда все статьи обработаны, шаблон сохраняет таблицу в файл и переходит к следующему каналу из входных настроек.
Работа завершается, когда все каналы обработаны.

Как пользоваться?

Во входных настройках указать ссылки на каналы (каждый с новой строки) и количество статей для парсинга (0 - парсить все статьи).
Для работы через прокси добавить их в файл proxy.txt.

Результаты сохраняются в папку Results в .xlsx таблицу с уникальным названием "Имя канала_дата_время".
Данные записываются в формате "Название статьи;Дата публикации;Просмотры;Дочитывания;Среднее время;Комментарии;Лайки;Ссылка"
 
Категория
Парсинг
Тип шаблона
Открытый
Многопоточность
Нет
Дата обновления
11.11.2020
Описание обновления
Обновлены регулярные выражения.
Исправлен парсинг лайков.
Теперь не парсятся лишние статьи, когда задано максимально количество во входных настройках.
Исправлен расчёт среднего времени чтения: теперь записывается 0, если просмотры отсутствуют.

Вложения

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

lexa_nik87

Новичок
Регистрация
20.02.2020
Сообщения
4
Благодарностей
1
Баллы
3
Такая ошибка вылезла на 2-х крупных каналах (несколько раз их парсил, но ошибка все время на одном и том же месте):
2b641bae-48aa-40cf-a767-a991d1427e06
Выполнение логического оператора If Результат: false

Парсил еще четыре канала с ними все норм, но они не большие от 50 до 250 статей. Возможно, начале 2019 года что-то изменилось, начали данные по-другому отдавать, старые каналы/статьи до 2019 вообще не парсятся. Ошибка такая же.
 

Вложения

  • Спасибо
Реакции: Hitachi

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Такая ошибка вылезла на 2-х крупных каналах (несколько раз их парсил, но ошибка все время на одном и том же месте):
2b641bae-48aa-40cf-a767-a991d1427e06
Выполнение логического оператора If Результат: false

Парсил еще четыре канала с ними все норм, но они не большие от 50 до 250 статей. Возможно, начале 2019 года что-то изменилось, начали данные по-другому отдавать, старые каналы/статьи до 2019 вообще не парсятся. Ошибка такая же.
Шаблон обновлён. Спасибо за сигнал)
 
  • Спасибо
Реакции: lexa_nik87

lexa_nik87

Новичок
Регистрация
20.02.2020
Сообщения
4
Благодарностей
1
Баллы
3
Все работает, благодарствую.
 

lexa_nik87

Новичок
Регистрация
20.02.2020
Сообщения
4
Благодарностей
1
Баллы
3
Сейчас совсем новый канал попробовал, февральский, тоже ошибку дал:
524730b0-852f-40dc-a246-dbbe4af1445e
канал: https://zen.yandex.ru/istoria_dlia_vseh
 

Вложения

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
  • Спасибо
Реакции: lexa_nik87

lexa_nik87

Новичок
Регистрация
20.02.2020
Сообщения
4
Благодарностей
1
Баллы
3
Отлично, работает, спасибо.
 

vadimlgg2

Client
Регистрация
06.11.2019
Сообщения
68
Благодарностей
12
Баллы
8
Подскажите, а что чего нужен этот шаблон!?
 

Zhezkazganetcs

Новичок
Регистрация
19.11.2016
Сообщения
15
Благодарностей
1
Баллы
3
перестал работать шаблон
8c246fea-29bb-4833-8394-619c988eb2c3
ec1df7d5-eae7-49fc-960d-be3c2cff8ad0
а то что парсит то там 40 статей и все, хотя их больше
demo версия 7.1.6.1
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
перестал работать шаблон
8c246fea-29bb-4833-8394-619c988eb2c3
ec1df7d5-eae7-49fc-960d-be3c2cff8ad0
а то что парсит то там 40 статей и все, хотя их больше
demo версия 7.1.6.1
Пришлите пожалуйста ссылку на канал, на котором такая ошибка
 

Zhezkazganetcs

Новичок
Регистрация
19.11.2016
Сообщения
15
Благодарностей
1
Баллы
3
кажись я понял из-за чего
из-за интернета
переключился на мобильный интернет и пошел парсинг
 

golodec1989

Client
Регистрация
30.05.2019
Сообщения
14
Благодарностей
2
Баллы
3
e8ad869a-fd42-400b-b585-93c8a4f9d392 выдает такую ошибку
Не удалось спарсить заголовок.
URL https://zen.yandex.ru/m24.ru добавлен в error_list
 

Mavrikman

Client
Регистрация
21.01.2020
Сообщения
89
Благодарностей
18
Баллы
8
Привет, а прокси в каком виде должны быть в файле? и обязательны ли они?
 
Последнее редактирование:

rewrite008

Client
Регистрация
09.07.2021
Сообщения
54
Благодарностей
29
Баллы
18
Не работает?
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)