Парсер постов из Групп в Telegram

  • Автор темы Автор темы krepsky
  • Дата начала Дата начала

krepsky

Client
Регистрация
18.02.2016
Сообщения
411
Реакции
301
Баллы
63
Понадобился парсинг постов с телеграм каналов, для использования их в качестве доноров(для рассылок, рерайта и т.д).
125881

Простенький скрипт, в который нужно вставить ссылки на нужные каналы и он автоматически спарсит все или указанное количество публикаций в папку "Посты" в директорию проекта. Каждый пост будет храниться в отдельном текстовом файле.
Скрипт открытый, можете доработать функционал под себя:
125882



✅ Канал о ZennoPoster:
Нажмите, чтобы перейти

✅ Бесплатные базовые уроки по ZennoPoster:
Нажмите, чтобы смотреть уроки

✅ Полный курс обучения по ZennoPoster:

Нажмите, чтобы ознакомиться с программой обучения

Ссылка на скрипт: https://disk.yandex.ru/d/RdciiTw6ICk-dg
 
Последнее редактирование:
  • Спасибо
Реакции: i4w7w4a, Smms и Spawn03
Понадобился парсинг постов с телеграм каналов, для использования их в качестве доноров(для рассылок, рерайта и т.д).
Посмотреть вложение 125881
Простенький скрипт, в который нужно вставить ссылки на нужные каналы и он автоматически спарсит все или указанное количество публикаций в папку "Посты" в директорию проекта. Каждый пост будет храниться в отдельном текстовом файле.
Скрипт открытый, можете доработать функционал под себя:
Посмотреть вложение 125882

Ссылка на скрипт: https://disk.yandex.ru/d/RdciiTw6ICk-dg

Просит пароль на архив?
 
  • Спасибо
Реакции: i4w7w4a
  • Спасибо
Реакции: krepsky
  • Спасибо
Реакции: Mavrikman
Понадобился парсинг постов с телеграм каналов, для использования их в качестве доноров(для рассылок, рерайта и т.д).
Посмотреть вложение 125881
Простенький скрипт, в который нужно вставить ссылки на нужные каналы и он автоматически спарсит все или указанное количество публикаций в папку "Посты" в директорию проекта. Каждый пост будет храниться в отдельном текстовом файле.
Скрипт открытый, можете доработать функционал под себя:
Посмотреть вложение 125882

Ссылка на скрипт: https://disk.yandex.ru/d/RdciiTw6ICk-dg


Можешь объяснить, как происходит отправка GET-запроса? Я думал, что для этого в Телеграме надо использовать API и токен.
И есть ли вероятность, что Телеграм забанит за частые запросы?
 
Можешь объяснить, как происходит отправка GET-запроса? Я думал, что для этого в Телеграме надо использовать API и токен.
И есть ли вероятность, что Телеграм забанит за частые запросы?
У телеги есть вебверсия (браузерная), делается гет запрос на браузерную версию телеги
 
Последнее редактирование:
Спаибо за скрипт, но твой скирпт парсит только текст из постов, а как сделать что бы полный пост парсился с катинками или видео?
 
У телеги есть вебверсия (браузерная), делается гет запрос на браузерную версию телеги

Понял. Попробовал - работает.

Есть идея по доработке. Хочу, чтобы при повторном запуске скрипт подгружал только свежие посты, которые появились с момента последней проверки.
Это нужно для мониторинга обновлений каналов.
Для этого я сохраняю в базу idпоследнего скачанного поста (беру из переменной post_last_id).
При новом запуске нужно как-то сравнить переменную post_last_id с сохраненной переменной и в случае, если разница 0, скрипт не грузит посты ,т.к. они все старые. А если разница есть, то эта разница записывается в переменную posts_limit и скрипт качает только это количество последних постов.
 
  • Спасибо
Реакции: krepsky и Mavrikman
Понял. Попробовал - работает.

Есть идея по доработке. Хочу, чтобы при повторном запуске скрипт подгружал только свежие посты, которые появились с момента последней проверки.
Это нужно для мониторинга обновлений каналов.
Для этого я сохраняю в базу idпоследнего скачанного поста (беру из переменной post_last_id).
При новом запуске нужно как-то сравнить переменную post_last_id с сохраненной переменной и в случае, если разница 0, скрипт не грузит посты ,т.к. они все старые. А если разница есть, то эта разница записывается в переменную posts_limit и скрипт качает только это количество последних постов.
Сохраняйте в файл привязанный к списку и проверяйте есть ли ID поста в нем, если есть, тогда можно не сохранять запись
 
  • Спасибо
Реакции: i4w7w4a и Mavrikman
Сохраняйте в файл привязанный к списку и проверяйте есть ли ID поста в нем, если есть, тогда можно не сохранять запись

Заметил, что не все каналы парсятся. Стал их открывать в браузере и обнаружил, что у них не срабатывает ссылка "Preview channel". А у некоторых каналов доступны не все посты ( на каждом посте такое сообщение: Please open Telegram to view this post ). При этом из телеграм-приложения они открываются .
Отсюда вопрос - будут ли открываться эти каналы через get-запрос, если при этом в браузере Зеннопостера я буду залогинен в веб-версию Телеграма? Или get-запрос никак не связан с сессией браузера?
 
Отличная работа проделана. Сейчас конечно стало проще когда существуют целые комбайны под парсинг. Не буду здесь расписывать их название т.к. денег они мне за это не платят)) Могу только подсказать что именно можно cпарсить в Telegram или спарсить в Viber с помощью комбайнов.
 
Классный скрипт. У меня есть похожие. Но он платный. Работать сервис проталк знаешь?
 

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)