Парсер постов Twitter

Hitachi

Creators Template
Joined
Sep 25, 2019
Messages
384
Reaction score
347
Points
63
Описание

Шаблон устанавливает прокси, получает ссылку для парсинга, переходит по ней.
Загружает нужное количество твитов (или все, если во входных настройках указан 0), переносит все в список.
Получает твиты по одному, парсит из каждого ссылку, автора, время публикации, количество лайков, ретвитов, комментариев, записывает данные в таблицу.
когда все твиты обработаны, таблица сохраняется в файл, шаблон переходит к следующей ссылке.

Как пользоваться?

Во входных настройках указать ссылки на страницы для парсинга и количество постов, которые нужно обработать.

Данные сохраняются в .csv файл в папку Results в формате "Ссылка, автор, дата, ответы, ретвиты, лайки". В названии логин из ссылки и дата_время.
 
Категория
Парсинг
Тип шаблона
Открытый
Многопоточность
Нет
Дата обновления
Dec 17, 2020
Описание обновления
Обновлён парсинг данных.
Добавлены дополнительные проверки и оповещения.
Добавлена пауза при загрузке.
Изменён формат даты в названии

Attachments

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

foast

Client
Joined
Jul 27, 2018
Messages
17
Reaction score
5
Points
3
Описание

Шаблон устанавливает прокси, получает ссылку для парсинга, переходит по ней.
Загружает нужное количество твитов (или все, если во входных настройках указан 0), переносит все в список.
Получает твиты по одному, парсит из каждого ссылку, автора, время публикации, количество лайков, ретвитов, комментариев, записывает данные в таблицу.
когда все твиты обработаны, таблица сохраняется в файл, шаблон переходит к следующей ссылке.

Как пользоваться?

Во входных настройках указать ссылки на страницы для парсинга и количество постов, которые нужно обработать.

Данные сохраняются в .csv файл в папку Results в формате "Ссылка, автор, дата, ответы, ретвиты, лайки". В названии логин из ссылки и дата_время.
А сам текст твита сохраняется?
 

Hitachi

Creators Template
Joined
Sep 25, 2019
Messages
384
Reaction score
347
Points
63
А сам текст твита сохраняется?
Нет, сохранение текста твита не предусмотрено
 

foast

Client
Joined
Jul 27, 2018
Messages
17
Reaction score
5
Points
3
Нет, сохранение текста твита не предусмотрено
а вам не сложно будет сделать сохранение текста твита?
 

Hitachi

Creators Template
Joined
Sep 25, 2019
Messages
384
Reaction score
347
Points
63
а вам не сложно будет сделать сохранение текста твита?
Шаблон обновлён, добавлен парсинг текста твита
 

Lexin

Client
Joined
Dec 22, 2015
Messages
17
Reaction score
3
Points
3
Запускал шаблон и с прокси, и без них. Указывал ссылку в формате https://twitter.com/XXXX и просто ХХХХ, прогресс 0%. Лог пустой, ставил задачу спарсить 5 твитов, 2 результата нет. В чем может быть дело?
 

Hitachi

Creators Template
Joined
Sep 25, 2019
Messages
384
Reaction score
347
Points
63
Запускал шаблон и с прокси, и без них. Указывал ссылку в формате https://twitter.com/XXXX и просто ХХХХ, прогресс 0%. Лог пустой, ставил задачу спарсить 5 твитов, 2 результата нет. В чем может быть дело?
Шаблон обновлён. Сейчас проблемы сохраняются, или всё работает?
 

kuppyc

Client
Joined
Jun 13, 2015
Messages
27
Reaction score
1
Points
3
Привет, прогонял шаблончик в ручную без прокси, в result ничего нет, актуален ли еще шаб ? Есть у кого работает ?
 

Hitachi

Creators Template
Joined
Sep 25, 2019
Messages
384
Reaction score
347
Points
63
Привет, прогонял шаблончик в ручную без прокси, в result ничего нет, актуален ли еще шаб ? Есть у кого работает ?
Проверил сейчас, результаты сохраняются.
Какая версия ZP?
 
  • Thank you
Reactions: kuppyc

kuppyc

Client
Joined
Jun 13, 2015
Messages
27
Reaction score
1
Points
3
Проверил сейчас, результаты сохраняются.
Какая версия ZP?
все заработало после обновления до
5.40.00
Спасибо =)
 
Last edited:

kuppyc

Client
Joined
Jun 13, 2015
Messages
27
Reaction score
1
Points
3
Больше 500 постов не парсит, это твиттера ограничение ? у одного и того же автора
Возможно ли как то обойти это ограничение ?
 

vrska

Client
Joined
Feb 7, 2010
Messages
589
Reaction score
408
Points
63
Больше 500 постов не парсит, это твиттера ограничение ? у одного и того же автора
Возможно ли как то обойти это ограничение ?
Возможно, лимит для смертных 3200
 

Hitachi

Creators Template
Joined
Sep 25, 2019
Messages
384
Reaction score
347
Points
63
Больше 500 постов не парсит, это твиттера ограничение ? у одного и того же автора
Возможно ли как то обойти это ограничение ?
Обновил шаблон, сейчас должен парсить больше постов.
Но в любом случае какое-то ограничение от твиттера есть, у меня на тестах сейчас раньше 4 февраля не подгружались посты
 

kuppyc

Client
Joined
Jun 13, 2015
Messages
27
Reaction score
1
Points
3
Обновил шаблон, сейчас должен парсить больше постов.
Но в любом случае какое-то ограничение от твиттера есть, у меня на тестах сейчас раньше 4 февраля не подгружались посты
Спасибо)
 
Last edited:

AGAT

Активный пользователь
Joined
Nov 17, 2018
Messages
153
Reaction score
33
Points
28
Hitachi приветствую,
подскажи пожалуйста, шаблон рабочий?
 

Sergodjan

Administrator
Staff member
Joined
Sep 5, 2012
Messages
20,936
Reaction score
9,330
Points
113
Сейчас проверял по надобности, шаблон отлично работает.
 
  • Thank you
Reactions: Santorini

igor777

Новичок
Joined
Aug 13, 2021
Messages
5
Reaction score
0
Points
1
а хэштеги может мониторить?
 

viktor382331

Новичок
Joined
Oct 14, 2021
Messages
2
Reaction score
0
Points
1

viktor382331

Новичок
Joined
Oct 14, 2021
Messages
2
Reaction score
0
Points
1
Описание

Шаблон устанавливает прокси, получает ссылку для парсинга, переходит по ней.
Загружает нужное количество твитов (или все, если во входных настройках указан 0), переносит все в список.
Получает твиты по одному, парсит из каждого ссылку, автора, время публикации, количество лайков, ретвитов, комментариев, записывает данные в таблицу.
когда все твиты обработаны, таблица сохраняется в файл, шаблон переходит к следующей ссылке.

Как пользоваться?

Во входных настройках указать ссылки на страницы для парсинга и количество постов, которые нужно обработать.

Данные сохраняются в .csv файл в папку Results в формате "Ссылка, автор, дата, ответы, ретвиты, лайки". В названии логин из ссылки и дата_время.
а какой пароль от архива
?
 

Sergodjan

Administrator
Staff member
Joined
Sep 5, 2012
Messages
20,936
Reaction score
9,330
Points
113

Kalashnikov081985

Новичок
Joined
Jun 15, 2023
Messages
1
Reaction score
0
Points
1
Привет, недавно начал пользоваться этой программой. Не понимаю, что делать с парсером. Нужно помимо того файла, что ты дал, еще создать папки с инфой? подскажи пожалуйста
 

KokaSEO

Client
Joined
Jan 17, 2015
Messages
435
Reaction score
174
Points
43
Привет, недавно начал пользоваться этой программой. Не понимаю, что делать с парсером. Нужно помимо того файла, что ты дал, еще создать папки с инфой? подскажи пожалуйста
Вряд ли он подскажет
108436
 

Kalashnikov

Новичок
Joined
Jun 13, 2023
Messages
1
Reaction score
0
Points
1

KokaSEO

Client
Joined
Jan 17, 2015
Messages
435
Reaction score
174
Points
43
Осваивать прогу
Ну или нанимать разработчиков под свои задачи
В любом случае на минимальном уровне прогу лучше освоить, иначе даже с покупными шабами сложно будет
 
Joined
Apr 15, 2016
Messages
649
Reaction score
107
Points
43
Актуализировали шаблон

Полностью прокомментированный, с описанием и объяснением действий
Добавили работу с почтами KOPEECHKA.STORE


При возникновении вопросов обращайтесь в нашу техническую поддержку
 

Attachments

Users Who Are Viewing This Thread (Total: 1, Members: 0, Guests: 1)