Парсер активной целевой аудитории из телеграм чатов

backoff

Client
Регистрация
20.04.2015
Сообщения
6 052
Благодарностей
6 481
Баллы
113
Итак начнем. Так как большей популярностью пользуются технические шаблоны/статьи и не интересны конкретно про реальный заработок (это показали прошлые голосовалки), то вот Вам шаб для подготовки будущего заработка :-)

Шаблон, который собирает активную аудиторию из чатов телеграма.

Для работы шаба нужно:
  1. Профиль. У вас должен быть уже готовый профиль от телеги (веб версия)
  2. Настроены входные настройки.
63147


Логика шаба:
  1. Шаб берет из спика каналов/чатов название нужного чата
  2. Переходит по урлу
  3. Идет проверка на вступление в чат, если мы еще не в чате = вступаем в него и активируем окно чата. Если уже в чате = активируем окно чата
  4. Делаем пролистывание чата на указанную, во входящих настройках, величину (по дефолту = 20 пролистываний)
  5. Собираем все ники
  6. Делаем проход по каждому нику, собирая нужную инфу (в данном случае сам ник)
  7. После сбора, удаляем дубли, добавляем в основную текстовую базу
  8. Вывод статистики о сборе
63148


Подготовка файлов:
В файл data\channels.txt надо вписать названия нужных чатов, делается это без знака @ только названия, списком.

В папке data\parsing, после успешного парса, будут появляться собранные базы по чатам.
В папке data\errors\, будут записываться ошибки по мере появления, со скриншотами.

Шаб писался для себя, чтоб работал 24/7 в один поток, но практика показала, что нормально работает с одним акком и в 2 и в 3 потока. Для работы в нормальный много поток, с разными акками, его несложно модернизировать (домашнее задание для новичков :-) )

Этот шаб подойдет всем от мала до велика, в шаблоне
  • идет работа через xPath
  • отслеживание ошибок
  • создание скриншотов при ошибках, для большей визуализации
  • определение времени на затраченное время работы шаблона.
Каждый может почерпнуть что-то новое/полезное для себя.

63143
 
Категория
Парсинг, SMM
Номер конкурса шаблонов
Шестой конкурс шаблонов
Уровень сложности
Средний

Вложения

Для запуска проектов требуется программа ZennoPoster или ZennoDroid.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте нужную программу. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Последнее редактирование:

Supergrok

Client
Регистрация
05.03.2019
Сообщения
171
Благодарностей
156
Баллы
43
Для 7.1.2 реально переделать? Или использутся фишки нового формата?
 

backoff

Client
Регистрация
20.04.2015
Сообщения
6 052
Благодарностей
6 481
Баллы
113

radv

Client
Регистрация
11.05.2015
Сообщения
3 788
Благодарностей
1 952
Баллы
113

ezotonal

Client
Регистрация
13.01.2014
Сообщения
819
Благодарностей
231
Баллы
43
Вот техническую реализацию телеграм через api вот это да)
 

Alexmd

Client
Регистрация
10.12.2018
Сообщения
1 022
Благодарностей
1 424
Баллы
113
Шаб писался для себя, чтоб работал 24/7 в один поток, но практика показала, что нормально работает с одним акком и в 2 и в 3 потока. Для работы в нормальный много поток, с разными акками, его несложно модернизировать (домашнее задание для новичков :-) )
а в соседней теме https://zennolab.com/discussion/threads/udalenie-infy-iz-spiska-pri-ee-perezapisi-7161.83192/#post-558094
По идее строки не должны пропадать, но используя 2+ потока они начинают постепенно пропадать, как-то через раз, через какое-то время.
За 4 дня работы список из 30 строк ушел в ноль. В настройках списка стоят все 3 галочки.
:dy:

ничего личного, просто развеселил)
 

backoff

Client
Регистрация
20.04.2015
Сообщения
6 052
Благодарностей
6 481
Баллы
113
в этой версии уже исправлено, переделано на взятие и сохранение в C# с ЛОКом потока

всегда делал через С и лок, а тут черт дернул на кубиках сделать.
 

backoff

Client
Регистрация
20.04.2015
Сообщения
6 052
Благодарностей
6 481
Баллы
113
Перезалил исправленную версию так же в основной архив.
 

Konrod_m

Client
Регистрация
18.09.2014
Сообщения
1 697
Благодарностей
940
Баллы
113
в этой версии уже исправлено, переделано на взятие и сохранение в C# с ЛОКом потока

всегда делал через С и лок, а тут черт дернул на кубиках сделать.
к слову - спасибо за кубики и разделение по блокам. так сильно проще какие-то вещи адаптировать под свои проекты. скопировал => вставил. на конкурсе уже много интересных шаблонов, но в которых хрен разберешься.
 
  • Спасибо
Реакции: todayer и backoff

backoff

Client
Регистрация
20.04.2015
Сообщения
6 052
Благодарностей
6 481
Баллы
113
разделение по блокам
стараюсь все свои шабы так делать и комментировать, потому как бывает что нужно залезть в шаб спустя 2-3 года, и давай вспоминать что где))
А с разделениями и комментами, быстро находишь нужное.
Ну и да, по поводу копирования, тоже часто пользуюсь заготовками и копирую по шаблонам :az:
 

one

Client
Регистрация
22.09.2015
Сообщения
6 833
Благодарностей
1 275
Баллы
113

radv

Client
Регистрация
11.05.2015
Сообщения
3 788
Благодарностей
1 952
Баллы
113

radv

Client
Регистрация
11.05.2015
Сообщения
3 788
Благодарностей
1 952
Баллы
113
стараюсь все свои шабы так делать и комментировать, потому как бывает что нужно залезть в шаб спустя 2-3 года, и давай вспоминать что где))
Комментарии нужная вещь. Помогает вспоминать логику. и почему именно так, а не по другому или важные примечания/нюансы добавить :az:
 

backoff

Client
Регистрация
20.04.2015
Сообщения
6 052
Благодарностей
6 481
Баллы
113
Надо уходить с чатов по быстрому... Пока волна не утихнет. )))
думаю не по наслышке знаешь, простую формулу ))

1000 человек узнало
100 заинтересовалось
1-2 попробовали :-)

так что особо больше спама не будет :-) народу в целом пофиг :-)
Помогает вспоминать
ага, именно
 
  • Спасибо
Реакции: one

ZennoCat

Client
Регистрация
06.01.2020
Сообщения
45
Благодарностей
14
Баллы
8
Заинтересовал ваш шаблон, нужно будет попробовать. Скорее всего отдам голос Вам)
 
  • Спасибо
Реакции: backoff

one

Client
Регистрация
22.09.2015
Сообщения
6 833
Благодарностей
1 275
Баллы
113

backoff

Client
Регистрация
20.04.2015
Сообщения
6 052
Благодарностей
6 481
Баллы
113
ВАЖНО!
  1. Поймал новый баг (не шаблона, а ограничение телеги) сделал проверку на него.
  2. Пофиксил пропажу чатов из списка (это мой недочет)
  3. Стоит запускать шаблон в 1 поток, в 2 и более на 1 акк, грозит лимитом от телеги. Нужно модернизировать в много поток с поддержкой разных акков.
пользуйтесь :-)

Обновлено в архиве. В старт посте
 
Последнее редактирование:
  • Спасибо
Реакции: phoenixs, todayer и one

zenno.xxx

Client
Регистрация
05.10.2016
Сообщения
262
Благодарностей
248
Баллы
43
Вот техническую реализацию телеграм через api вот это да)
парни, кстати, это API нужно изучать? (а то читал есть API для ботов телеграм)



пните меня к хорошему/доходчивому мануалу))
 

backoff

Client
Регистрация
20.04.2015
Сообщения
6 052
Благодарностей
6 481
Баллы
113
вот это - https://core.telegram.org/api оригинал
конечно одно из самых (для меня) непонятных апи
удивляюсь, api вконтакте настолько простое и понятное, что когда только стал заниматься запросами, легко там разобрался, а тут уже на опыте тупил долго и искал примеры )))

пните меня к хорошему/доходчивому мануалу))
присоединюсь к просьбе )
 
  • Спасибо
Реакции: ZennoCat и zenno.xxx

Zd221

Client
Регистрация
01.06.2019
Сообщения
5
Благодарностей
0
Баллы
1
в этой версии уже исправлено, переделано на взятие и сохранение в C# с ЛОКом потока

всегда делал через С и лок, а тут черт дернул на кубиках сделать.
Получается, если брать строку из списка "кубиком" в многопотоке, то несколько потоков могут взять одну и ту же строку из списка?
 

ibred

Client
Регистрация
04.04.2015
Сообщения
3 835
Благодарностей
3 552
Баллы
113
Получается, если брать строку из списка "кубиком" в многопотоке, то несколько потоков могут взять одну и ту же строку из списка?
Если список привязан к файлу и строка берется с удалением, то не будет никаких пересечений в многопотоке.
 
  • Спасибо
Реакции: Zd221

backoff

Client
Регистрация
20.04.2015
Сообщения
6 052
Благодарностей
6 481
Баллы
113
Получается, если брать строку из списка "кубиком" в многопотоке, то несколько потоков могут взять одну и ту же строку из списка?
нет, там была ошибка по моей невнимательности, шаблон правильно отрабатывал и удалял чат, так как это я забыл убрать из шаба.
Сейчас он работает корректно.
Так что, добавление ЛОКа в целом не нужно было
 
  • Спасибо
Реакции: Zd221

vitashok

Client
Регистрация
20.11.2015
Сообщения
84
Благодарностей
13
Баллы
8

one

Client
Регистрация
22.09.2015
Сообщения
6 833
Благодарностей
1 275
Баллы
113

backoff

Client
Регистрация
20.04.2015
Сообщения
6 052
Благодарностей
6 481
Баллы
113
конечно можно, но там надо переписывать некоторые моменты на C#, а времени не особо то и есть.
тут такое, проще уже обновиться, так как следующие шабы будут только расти в плане версий
 

one

Client
Регистрация
22.09.2015
Сообщения
6 833
Благодарностей
1 275
Баллы
113

ibred

Client
Регистрация
04.04.2015
Сообщения
3 835
Благодарностей
3 552
Баллы
113

Mr. Vatson

Client
Регистрация
19.06.2017
Сообщения
4
Благодарностей
1
Баллы
3
Скажите пожалуйста, какой пароль у файла TelegramChatParser.zp?
 

Konrod_m

Client
Регистрация
18.09.2014
Сообщения
1 697
Благодарностей
940
Баллы
113
Скажите пожалуйста, какой пароль у файла TelegramChatParser.zp?
это формат проекта для зеннопостера версии 7 и выше... просто добавляете его в работу в зеннопостере или открываете в проджект майкере для редактирования
 
  • Спасибо
Реакции: Mr. Vatson

Stanis5288

Client
Регистрация
26.02.2020
Сообщения
5
Благодарностей
0
Баллы
1
Простите за вопрос нуба, но где брать этот самый профиль и куда его заливать?:dy:
Screenshot_44.png
 

Кто просматривает тему: (Всего: 4, Пользователи: 0, Гости: 4)