Парсинг статистики канала Яндекс Дзен (get/post)

  • Автор темы Автор темы Hitachi
  • Дата начала Дата начала
Название тестового шаблона
Парсинг статистики канала Яндекс Дзен test

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Реакции
348
Баллы
63
Описание

Шаблон парсит с канала название и ссылки на статьи (либо все, либо указанное во входных настройках количество).
Далее по каждой ссылке парсит название статьи, дату публикации, просмотры, дочитывания, лайки, комментарии и суммарное время просмотра в секундах.
Среднее время чтения высчитывается из суммарного. Суммарное время делится на количество просмотров и переводится в минуты с округлением до 0.5 минуты.
Полученные данные записываются строкой в таблицу.
Когда все статьи обработаны, шаблон сохраняет таблицу в файл и переходит к следующему каналу из входных настроек.
Работа завершается, когда все каналы обработаны.

Как пользоваться?

Во входных настройках указать ссылки на каналы (каждый с новой строки) и количество статей для парсинга (0 - парсить все статьи).
Для работы через прокси добавить их в файл proxy.txt.

Результаты сохраняются в папку Results в .xlsx таблицу с уникальным названием "Имя канала_дата_время".
Данные записываются в формате "Название статьи;Дата публикации;Просмотры;Дочитывания;Среднее время;Комментарии;Лайки;Ссылка"
 
Категория
  1. Парсинг
Тип шаблона
Открытый
Многопоточность
Нет
Дата обновления
11.11.2020
Описание обновления
Обновлены регулярные выражения.
Исправлен парсинг лайков.
Теперь не парсятся лишние статьи, когда задано максимально количество во входных настройках.
Исправлен расчёт среднего времени чтения: теперь записывается 0, если просмотры отсутствуют.

Вложения

Такая ошибка вылезла на 2-х крупных каналах (несколько раз их парсил, но ошибка все время на одном и том же месте):
2b641bae-48aa-40cf-a767-a991d1427e06
Выполнение логического оператора If Результат: false

Парсил еще четыре канала с ними все норм, но они не большие от 50 до 250 статей. Возможно, начале 2019 года что-то изменилось, начали данные по-другому отдавать, старые каналы/статьи до 2019 вообще не парсятся. Ошибка такая же.
 

Вложения

  • 2020-02-20_22-51-51.png
    2020-02-20_22-51-51.png
    31 KB · Просмотры: 392
  • 2020-02-20_22-35-26.png
    2020-02-20_22-35-26.png
    36,8 KB · Просмотры: 397
  • Спасибо
Реакции: Hitachi
Такая ошибка вылезла на 2-х крупных каналах (несколько раз их парсил, но ошибка все время на одном и том же месте):
2b641bae-48aa-40cf-a767-a991d1427e06
Выполнение логического оператора If Результат: false

Парсил еще четыре канала с ними все норм, но они не большие от 50 до 250 статей. Возможно, начале 2019 года что-то изменилось, начали данные по-другому отдавать, старые каналы/статьи до 2019 вообще не парсятся. Ошибка такая же.

Шаблон обновлён. Спасибо за сигнал)
 
  • Спасибо
Реакции: lexa_nik87
Все работает, благодарствую.
 
Сейчас совсем новый канал попробовал, февральский, тоже ошибку дал:
524730b0-852f-40dc-a246-dbbe4af1445e
канал: https://zen.yandex.ru/istoria_dlia_vseh
 

Вложения

  • 2020-02-21_14-01-03.png
    2020-02-21_14-01-03.png
    7,1 KB · Просмотры: 322
Отлично, работает, спасибо.
 
Подскажите, а что чего нужен этот шаблон!?
 
перестал работать шаблон
8c246fea-29bb-4833-8394-619c988eb2c3
ec1df7d5-eae7-49fc-960d-be3c2cff8ad0
а то что парсит то там 40 статей и все, хотя их больше
demo версия 7.1.6.1
 
перестал работать шаблон
8c246fea-29bb-4833-8394-619c988eb2c3
ec1df7d5-eae7-49fc-960d-be3c2cff8ad0
а то что парсит то там 40 статей и все, хотя их больше
demo версия 7.1.6.1
Пришлите пожалуйста ссылку на канал, на котором такая ошибка
 
кажись я понял из-за чего
из-за интернета
переключился на мобильный интернет и пошел парсинг
 
e8ad869a-fd42-400b-b585-93c8a4f9d392 выдает такую ошибку
Не удалось спарсить заголовок.
URL https://zen.yandex.ru/m24.ru добавлен в error_list
 

Похожие темы

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)