Автосохранение всех сообщений WhatsApp на запросах, IndexedDB, JavaScript, открытый код от Z_Studios

Z_Studios

Client
Регистрация
24.10.2014
Сообщения
227
Благодарностей
221
Баллы
43
Как сохранить все сообщения с аккаунта WhatsApp?

Если это делать обычной автоматизацией, открыв чат и проматывая его вверх до упора, то это займет уйму времени. А вдруг у нас на аккаунте 1000 чатов?

Такой подход не очень подходит, ведь наша задача работать быстро и надежно.

В этой конкурсной работе мы рассмотрим, как быстро и надежно сохранять все чаты и их сообщения с аккаунтов WhatsApp, используя данные из IndexedDB, совершая запросы, используя JavaScript.

Теперь немного теории...


Как хранятся данные в нашем Web клиенте WhatsApp?

Основное место хранения всех данных Web WhatsApp мы можем увидеть в разделе «IndexedDB», на вкладке «Приложение», инструментов разработчика Chrome.

111822


Метаданные хранятся в виде открытого текста в IndexedDB.

Зашифрованный текстовый контент чата, также хранится в IndexedDB.

Зашифрованные медиа файлы, хранятся в CDN WhatsApp и локально кэшированные.

IndexedDB — это постоянное хранилище для веб-приложений — представьте себе хранилище ключей и значений в браузере.
Веб-приложения могут создавать базы данных и таблицы (которые IndexedDB называет «хранилищами объектов») и хранить в них объекты JavaScript, индексированные по некоторому ключу.


Как работает программа для Авто Сохранения переписки и всех сообщений в WhatsApp?

Если кратко, то алгоритм её работы такой, в начале мы подгружаем ранее созданный профиль Web WhatsApp, после чего Java скриптом запрашиваем список всех наших чатов.
Прошу отметить, что список придет полный, не зависимо от того, сколько в данный момент подгружено в самом Web WhatsApp.

Получив список, нам необходимо зайти в любой чат, чтоб получить свежие и необходимые ключи для дальнейших запросов.
После чего, в цикле, обращаемся Java скриптом к каждому чату и получаем необходимую информацию, записываем её в Таблицу .xlsx .


Как запустить программу для Авто Сохранения переписки и всех сообщений в WhatsApp?

Первым делом необходимо создать веб профили аккаунтов, с которых мы собираемся парсить сообщения.
Для этого в шаблоне необходимо запустить функцию "Создавать профили".


111825


Сделать 1 запуск и в самом Инстансе ввести номер вашего WhatsApp, при необходимости прокси.

111826


Нажать продолжить и отсканировать Qr-Code с вашего WhatsApp.

Вторым делом, запускаем функцию "Парсить чаты", указав в Настройках шаблона, во вкладке "Общие настройки" файл "Созданные профили", который появится в корне папки с шаблоном "Парсер Чатов WhatsApp.zp".
Далее смотрим в лог ZennoPoster и наблюдаем примерно следующую картину.


111827


Обратите внимание на скорость.

По завершению, появится в корне папки файл "Итог Парсинга Чатов.xlsx" .

Шаблон будет прикреплен ниже, в открытом виде, с правом на редактирование и использования в своих проектах.
Для просмотра как он устроен, его необходимо открыть в ProjectMaker.
Шаблон может работать на демо версии ZennoPoster.
 

Вложения

Для запуска проектов требуется программа ZennoPoster или ZennoDroid.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте нужную программу. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Последнее редактирование:

radv

Client
Регистрация
11.05.2015
Сообщения
3 785
Благодарностей
1 950
Баллы
113
займет уйму времени.
Как то давно был у меня заказ на парсинг чатов с сохранением сообщений и картинок, пришлось делать через веб версию ватсапа. Но там немного чатов было.
 

Z_Studios

Client
Регистрация
24.10.2014
Сообщения
227
Благодарностей
221
Баллы
43
Но там немного чатов было.
Верно заметили, в веб не вся история аккаунта по умолчанию подгружается.
Этот метод выгружает всё, что есть у WhatsApp и даже больше, если на номере была ранее активность, он выгрузит и её!
 
  • Спасибо
Реакции: radv
Регистрация
26.05.2020
Сообщения
495
Благодарностей
172
Баллы
43
Верно заметили, в веб не вся история аккаунта по умолчанию подгружается.
Этот метод выгружает всё, что есть у WhatsApp и даже больше, если на номере была ранее активность, он выгрузит и её!
Я правильно понимаю, что туда войдет вся переписка за всю историю существования номера в сервисе, даже удаленная?
 

lx2003

Client
Регистрация
15.02.2021
Сообщения
599
Благодарностей
142
Баллы
43
Очень спасибо! Хотелось бы геолокацию, фото, видео, смайлики и документы тоже скачивать.
 

lx2003

Client
Регистрация
15.02.2021
Сообщения
599
Благодарностей
142
Баллы
43

Z_Studios

Client
Регистрация
24.10.2014
Сообщения
227
Благодарностей
221
Баллы
43
Я правильно понимаю, что туда войдет вся переписка за всю историю существования номера в сервисе, даже удаленная?
Понимаете совершенно правильно, пробуйте запустить на своем аккаунте, делается это очень быстро и легко.
 

Z_Studios

Client
Регистрация
24.10.2014
Сообщения
227
Благодарностей
221
Баллы
43

lx2003

Client
Регистрация
15.02.2021
Сообщения
599
Благодарностей
142
Баллы
43
Получив список, нам необходимо зайти в любой чат, чтоб получить свежие и необходимые ключи для дальнейших запросов.
После чего, в цикле, обращаемся Java скриптом к каждому чату
Зайти в один чат или в каждый? Бывает, что на стороне другого пользователя изменен ключ
 

lx2003

Client
Регистрация
15.02.2021
Сообщения
599
Благодарностей
142
Баллы
43
В теории, считаю, это возможно.
Онлайн сервис или мобильное приложение будете выпускать на основе данного шаблона?

Вообще, интересен сервис или способ полной, автоматической и сиюминутной синхронизации мобильных устройств на базе Андроид.
Т.е. взял свое второе устройство и продолжил работу.
Для решения проблемы: а) отключился внезапно телефон или планшет; б) доступ к архивам телефона: к контактам, файлам (документы, фото, видео, скачанным файлам, другим своим папкам и файлам) и переписке со всех мессенджеров, пока телефон на зарядке, в ремонте, потерян или отключен.
Или в случае, когда мобильное устройство используется как сервер.

Основной сегмент бизнес, цель - не прерывать работу, пока основное устройство недоступно.
 

lx2003

Client
Регистрация
15.02.2021
Сообщения
599
Благодарностей
142
Баллы
43
В теории, считаю, это возможно.
А также возможно ли восстанавливать переписку каким-то способом, кроме встроенных в ватсап?
Администраторам групп необходимо вроде.

Ватсап же единственный мессенджер, где не разрешено одновременное использование на нескольких устройствах, кроме разных типов приложений
 
Регистрация
26.05.2020
Сообщения
495
Благодарностей
172
Баллы
43
Решил потестить, а либки нет в архиве...
112191


Если кто вдруг тоже столкнется с такой траблой, то либу прикрепил к сообщению
 

Вложения

Последнее редактирование:

slavola59

Client
Регистрация
05.09.2023
Сообщения
39
Благодарностей
43
Баллы
18
Спасибо за шаблон но переписка удаленная не вся подгружается. У меня родственника развели на очень большую сумму-и тут шаб увидел . А мошенники начали историю чистить. Не знаю мб что-то не так делаю.
 

Z_Studios

Client
Регистрация
24.10.2014
Сообщения
227
Благодарностей
221
Баллы
43
Зайти в один чат или в каждый? Бывает, что на стороне другого пользователя изменен ключ
В данном случае, достаточно зайти в один чат, получить свежие токены и сделать свою работу, шаблон именно так и делает.

Онлайн сервис или мобильное приложение будете выпускать на основе данного шаблона?
Это немного разные вещи, плюс есть нюансы, по этому, направление WhatsApp развивается только на платформе команды ZennoLab, по многим причинам.

А также возможно ли восстанавливать переписку каким-то способом, кроме встроенных в ватсап?
Наверняка можно придумать решение, переписку с WhatsApp аккаунта собирать раз в день, запуская по Планировщику ZennoPoster данный шаблон, как вариант.
-
Спасибо за шаблон но переписка удаленная не вся подгружается.
При тестах было выявлено, когда содержание чата очень большое, то оно не помещается в ячейку Excel и обрезается, возможно это ваш вариант.
Как выход, рекомендую результаты парсинга складывать не только в таблицу, но и в текстовые файлы/базу данных.
-
Ниже прикрепляю файл исправленного шаблона, который более не будет требовать дополнительных .dll библиотек.
Парсер Чатов WhatsApp.zp - это файл самого шаблона, не архив, его необходимо добавить в программу ZennoPoster, Создать профиль WhatsApp (первая функция), зайти в Настройки, указать Файл рабочих профилей (файл Созданные профили.тхт, как пример), запустить Парсинг чатов.
 

Вложения

Grindaize

Новичок
Регистрация
17.03.2023
Сообщения
14
Благодарностей
4
Баллы
3
Всем привет, у меня не парсится
117000
 

Boom Zoom

Client
Регистрация
13.03.2020
Сообщения
81
Благодарностей
10
Баллы
8
119847

Вот такая история вместо QR кода. Как исправить? Подскажите п ожалуйста
 

Z_Studios

Client
Регистрация
24.10.2014
Сообщения
227
Благодарностей
221
Баллы
43
Вот такая история вместо QR кода. Как исправить? Подскажите пожалуйста
Доброго дня, у нового хрома появился новый метод сжатия данных, ватсап отдает сайт в новом виде, а движок хрома зеннопостер еще не умеет работать с этим методом, по этому такая картина.

Что можно сделать, как исправить ситуацию?

Открыть шаблон в проджектмэйкере
Зайти в настройки Профиль, далее Браузер
120671

Выставить Chrome based и все как на скрине выше
Проблема уйдет.
 

Tigerman

Client
Регистрация
29.10.2019
Сообщения
5
Благодарностей
0
Баллы
3
Доброго дня, у нового хрома появился новый метод сжатия данных, ватсап отдает сайт в новом виде, а движок хрома зеннопостер еще не умеет работать с этим методом, по этому такая картина.

Что можно сделать, как исправить ситуацию?

Открыть шаблон в проджектмэйкере
Зайти в настройки Профиль, далее Браузер
Посмотреть вложение 120671
Выставить Chrome based и все как на скрине выше
Проблема уйдет.
Здравствуйте, подскажите а как можно сделать чтобы парсился определенный чат а не всё разом?
 

lx2003

Client
Регистрация
15.02.2021
Сообщения
599
Благодарностей
142
Баллы
43
Пишут, что шаблон уже не актуален, а в whatsapp все поменялось.
 
Последнее редактирование:

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)