WebArchiveMaster - парсер Вебархива2

[footashes]

В рассылке есть скрипт на Руби для загрузки всего веб-сайт из интернет-архива со структурой. Я сделал видео по установке Руби и показал, как скачивать сайт. Это идет как бонус. Сам принцип WebArchiveMastersV4.13 совсем другой - забирать только тексты и проверять на уникальность. Парсинг всего сайта в 2022 давно не имеет смысла. Также там могут быть картинки из личного архива, с этими картинками уже были прецеденты, поэтому я забираю только текст.

Только что спарсил на Руби, прикладываю, запустить на Опен Сервере, возможно, поправить css. В принципе, готовый сайт.

 

[Ruhas]

В рассылке есть скрипт на Руби для загрузки всего веб-сайт из интернет-архива со структурой. Я сделал видео по установке Руби и показал, как скачивать сайт. Это идет как бонус. Сам принцип WebArchiveMastersV4.13 совсем другой - забирать только тексты и проверять на уникальность. Парсинг всего сайта в 2022 давно не имеет смысла. Также там могут быть картинки из личного архива, с этими картинками уже были прецеденты, поэтому я забираю только текст.

Только что спарсил на Руби, прикладываю, запустить на Опен Сервере, возможно, поправить css. В принципе, готовый сайт.

Про сайты согласен, но там есть интересные сервисы, которые можно переделать под себя)

 

[footashes]

Сегодня вечером будет показ видео прототипа новой программы по работе с Яндекс.Дзен. Полная автоматизация. Рассылка будет в первую очередь по покупателям Вебархивмастер. Будет показан принцип работы (видео) и открыт предзаказ.

Предзаказ хорошо себя показал при продаже плагина FreeProxyLite

Купить можно здесь - _catcut.net/product/42524

Кстати, сегодняшние выплаты:

Спойлер: Выплаты

[/SOILER]

Тесты и викторины

Итак, представляю полностью рабочий прототип тестов и викторин для Яндекс.Дзен. Кому это подойдет? Всем, кто ведет канал и столкнулся с кризисом идей - вы можете разбавить свои мысли тестами и викторинами - людям это нравится. Если у вас ещё нет канала на Дзен - самое время его завести.

Цена - 500 рублей
Почта - [email protected]

Киви: 9619995137
Яндекс-Деньги: 410011187505134

В примечании введите свой емейл, он будет внесен в базу рассылок. Привязка не нужна, все шаблоны открыты.

Для чего нужен предзаказ? Узнать, кому это нужно и нужно ли вообще. После оплаты напишите на [email protected], я внесу ваш емейл в базу рассылки. Это займет 2-3 дня - программа уже работает, мне понадобится время написать помощь - что за что отвечает и как работает.

Посмотреть пример можно здесь

 

[max_linder]

Обновление WebArchiveMastersV4.13 в связи с изменением верстки Вебархива:

- пофиксена небольшая ошибка, когда было совпадение регулярного выражения с данными, предоставленными Вебархивом,из-за чего парсер считал, что спарсил все ссылки и уходил на фильтрацию данных (это не так - в определенных обстоятельствах данные, которые проверялись, могли совпасть, если в ссылке присутствовало слово сравнения - например,Nexte, и в ссылке было, к примеру,http:\\kulbyar\visinexterin\appetit.htm), программа считала, что данные закончились и уходила на второй этап - фильтрация ссылок (отсеивание таких данных, как: *.jpg, replitcom и т.д). Это проявилось только несколько дней назад, так-как Вебархив изменил и усложнил парсинг.

Также хочу показать, на что способен Зеннопостер - сайт https://pibarum.ru/. Сделан полностью автоматически, обратите внимание на категорию "Тесты на знания", на сервере Зеннопостер парсит, обрабатывает и постит полностью на автомате, данные рассчитаны на 3 месяца, примерно 10 000 тестов. Попробуйте попроходить их, возможны ошибки, т.к. полный автомат, но всё это легко поправить, внести изменения в программу.

По всем вопросам, особенно тем, кто покупал WebArchiveMasters через магазин, пишите на [email protected]

Также прикрепляю частично проверенный домен (для проверки работоспособности) без чистки для проверки работоспособности:

Обновленный скрипт разошлю сегодня, после дополнительной проверки.

Добрый день. WebArchiveMastersV4.13 последнее время на все домены выдает такое сообщение:
"Нужных данных в Вебархиве нет. Берем другой домен для проверки. Попробуйте проверить сайт вручную."

 

[footashes]

Добрый день. WebArchiveMastersV4.13 последнее время на все домены выдает такое сообщение:
"Нужных данных в Вебархиве нет. Берем другой домен для проверки. Попробуйте проверить сайт вручную."

Я разбираюсь с этим.

 

[footashes]

Новая версия WebArchiveMastersV4.14. Проверьте работоспособность, по проблемам пишите на почту. Отправил всем. Для проверки использовал ZennoPoster RU 5.30.0.0., так-как он использует Хром, ZennoPoster RU 5.17.2.0 устаревший Фаерфокс 52. Также были эксперименты со входящими настройками, смотрите, чтобы было примерно так:

Спойлер: Входящие настройки

 

[footashes]

Актуально. Пока рубли не превратились в тыкву, это Маст хэв. Всё проходит - Вебархив остается всегда.

 

[footashes]

В связи с открытием торгов через несколько дней, доллар вполне может стоить 400-500 рублей. Поэтому спешите купить WebArchiveMasters, так-как цена будет увеличена либо продажа прекращена, будут только обновления. Я собираюсь добавлять новые фишки и займусь в упор парсингом текста. Также в пакет теперь входит шаблон Тестов и Викторин для Яндекс.Дзен (https://zennolab.com/discussion/threads/webarchivemaster-parser-vebarxiva2.45531/post-669825).

Спойлер: Проверка на плагиат

Спойлер: Пример работы WebArchiveMasters

Цена - 500 рублей
Почта - [email protected]

Киви: 9619995137
Яндекс-Деньги: 410011187505134
Или через магазин
_catcut.net/product/42948

В примечании введите свой емейл, он будет внесен в базу рассылок. Привязка не нужна, все шаблоны открыты.

 

[footashes]

Пример только-что спаршенного сайта с Вебархива (смотрите в прикреплении).

Спойлер: Проверка на уникальность

Также интересная новость по Дзен - с этого дня порог монетизации — 100 подписчиков (без ограничения по времени). Для взаимодействия с аудиторией вы можете использовать шаблон Тестов и Викторин для Яндекс.Дзен (входит в пакет шаблонов). Спешите!!! Есть шанс выйти на монету в Дзен - людям нравятся тесты и викторины.

Подробнее - https://zennolab.com/discussion/threads/webarchivemaster-parser-vebarxiva2.45531/post-669825

Цена - 500 рублей
Почта - [email protected]

Киви: 9619995137
Яндекс-Деньги: 410011187505134
Или через магазин (есть комиссия магазина!)
_catcut.net/product/42948

В примечании введите свой емейл, он будет внесен в базу рассылок. Привязка не нужна, все шаблоны открыты.

 

[vadima78]

Новая версия WebArchiveMastersV4.14. Проверьте работоспособность, по проблемам пишите на почту. Отправил всем. Для проверки использовал ZennoPoster RU 5.30.0.0., так-как он использует Хром, ZennoPoster RU 5.17.2.0 устаревший Фаерфокс 52. Также были эксперименты со входящими настройками, смотрите, чтобы было примерно так:

Спойлер: Входящие настройки

Посмотреть вложение 89362
Посмотреть вложение 89361

спасибо. попробую. а то такая же проблема

 

[footashes]

что то нету у меня использовать снепшот. а проблема такая же "Нужных данных в Вебархиве нет. Берем другой домен для проверки. Попробуйте проверить сайт вручную."

Точно используется ZennoPoster RU 5.30.0.0 и WebArchiveMastersV4.14? В нем используется Хром, а в ZennoPoster RU 5.17.2.0 используется устаревший Фаерфокс. Напишите на [email protected]

 

[vadima78]

Точно используется ZennoPoster RU 5.30.0.0 и WebArchiveMastersV4.14? В нем используется Хром, а в ZennoPoster RU 5.17.2.0 используется устаревший Фаерфокс. Напишите на [email protected]

прошу прощения. еще и версию шаблона старую брал. в мануале запутался малость...
сейчас на новой попробуем

 

[footashes]

Актуально как никогда. Схемы ломаются - Вебархив вечен.

 

[footashes]

Распродажа всего 3 дня! Цена - 300 рублей за весь пакет программ. Сейчас идет работа над проверкой на уникальность через Текст.ру, используя плагин FreeProxyLite (https://zennolab.com/discussion/threads/webarchivemaster-parser-vebarxiva2.45531/post-669825). Это позволит проверять текст используя прокси расширений Хром (сейчас используются 45 плагинов, что позволяет получить сотни отличных IP4 прокси, которые не умирают через 5 секунд после загрузки, как бесплатные спаршенные).

Все купившие WebArchiveMasters получат его бесплатно.

Акция продлится до вечера пятницы. Поспешите, эта штука всегда пригодится!

Цена - 300 рублей
Почта - [email protected]

Киви: 9619995137
Яндекс-Деньги: 410011187505134

В примечании введите свой емейл, он будет внесен в базу рассылок. Привязка не нужна, все шаблоны открыты.

 

[vadima78]

Распродажа всего 3 дня! Цена - 300 рублей за весь пакет программ. Сейчас идет работа над проверкой на уникальность через Текст.ру, используя плагин FreeProxyLite (https://zennolab.com/discussion/threads/webarchivemaster-parser-vebarxiva2.45531/post-669825). Это позволит проверять текст используя прокси расширений Хром (сейчас используются 45 плагинов, что позволяет получить сотни отличных IP4 прокси, которые не умирают через 5 секунд после загрузки, как бесплатные спаршенные).

Все купившие WebArchiveMasters получат его бесплатно.

Акция продлится до вечера пятницы. Поспешите, эта штука всегда пригодится!

Цена - 300 рублей
Почта - [email protected]

Киви: 9619995137
Яндекс-Деньги: 410011187505134

В примечании введите свой емейл, он будет внесен в базу рассылок. Привязка не нужна, все шаблоны открыты.

а кто раньше купил тому не достанется?

 

[footashes]

а кто раньше купил тому не достанется?

Почему, всем. Но это после тестирования, сколько это займет, не знаю. 2-3 недели, не меньше.

 

[garikn]

Распродажа всего 3 дня! Цена - 300 рублей за весь пакет программ. Сейчас идет работа над проверкой на уникальность через Текст.ру, используя плагин FreeProxyLite (https://zennolab.com/discussion/threads/webarchivemaster-parser-vebarxiva2.45531/post-669825). Это позволит проверять текст используя прокси расширений Хром (сейчас используются 45 плагинов, что позволяет получить сотни отличных IP4 прокси, которые не умирают через 5 секунд после загрузки, как бесплатные спаршенные).

Все купившие WebArchiveMasters получат его бесплатно.

Акция продлится до вечера пятницы. Поспешите, эта штука всегда пригодится!

Цена - 300 рублей
Почта - [email protected]

Киви: 9619995137
Яндекс-Деньги: 410011187505134

В примечании введите свой емейл, он будет внесен в базу рассылок. Привязка не нужна, все шаблоны открыты.

Написал на почту. В личку продублировать?

 

[footashes]

Сейчас идет работа над проверкой на уникальность через Текст.ру, используя плагин FreeProxyLite (https://zennolab.com/discussion/threads/webarchivemaster-parser-vebarxiva2.45531/post-669825). Это позволит проверять текст используя прокси расширений Хром (сейчас используются 45 плагинов, что позволяет получить сотни отличных IP4 прокси, которые не умирают через 5 секунд после загрузки, как бесплатные спаршенные).

Планы изменились, планировалось использовать разработки на BAS, но разработчик с Украины и написал, что средства от использования его программы пойдут на поддержку ВСУ, поэтому всё остановлено. Ждем окончания СВО. Надеюсь, Зеннопостер хотя-бы из России.

 

[vadima78]

Почему, всем. Но это после тестирования, сколько это займет, не знаю. 2-3 недели, не меньше.

тесты не прошли еще?

 

[footashes]

тесты не прошли еще?

После 9 мая будет рассылка.

 

[footashes]

Сегодня вечером будет рассылка шаблона проверки на уникальность через Текст.ру, используя плагин FreeProxyLite (это позволит проверять текст используя прокси расширений Хром - сейчас используются 45 плагинов, что позволяет получить сотни отличных IP4 прокси, которые не умирают через 5 секунд после загрузки, как бесплатные спаршенные). Достаточно забросить тексты для проверки, запустить программу и забыть на пару дней. Она сделает всё сама - распределит проверенные тексты в зависимости от уникальности и остановится, когда все проверит.

По традиции - распродажа всего 3 дня! Цена - 350 рублей за весь пакет программ.

Все купившие WebArchiveMasters получат его бесплатно.

Акция продлится до вечера воскресенья. Поспешите, эта штука всегда пригодится!

Цена - 350 рублей
Почта - [email protected]

Киви: 9619995137
Яндекс-Деньги: 410011187505134

В примечании введите свой емейл, он будет внесен в базу рассылок. Привязка не нужна, все шаблоны открыты.

 

[Zennovods]

Все купившие WebArchiveMasters получат его бесплатно

супер!

 

[footashes]

Актуально.
Цена - 500 рублей
Почта - [email protected]

Киви: 9619995137
Яндекс-Деньги: 410011187505134
WMZ-кошелёк - Z603308316146

В примечании введите свой емейл, он будет внесен в базу рассылок. Привязка не нужна, все шаблоны открыты.

 

[footashes]

Кто брал через магазин, отпишите на емейл [email protected] для внесения вашей почты в базу рассылок для обновлений.

Цена - 500 рублей
Почта - [email protected]

Киви: 9619995137
Яндекс-Деньги: 410011187505134
WMZ-кошелёк - Z603308316146

В примечании введите свой емейл, он будет внесен в базу рассылок. Привязка не нужна, все шаблоны открыты.

 

[footashes]

WebArchiveMastersV4.14 -парсинг текста с Вебархива. Для тех, у кого есть сайт или на продажу. Я использую для бирж текста - Миралинкс, Ротапост и т.т, чтобы не писать самому. Просто ищешь в базе статью примерной тематик, уже проверенную на уникальность, постишь на своем сайте и получаешь деньги. Все просто.

Парсинг выглядит примерно так - собирает статьи, домены, комментарии:

Спойлер: Парсинг

Текста парсятся в таком виде:

Спойлер: Готовый текст

Также идут дополнительные шаблоны - весь комплект к парсеру - проверка на уникальность, чистка текста и т.д.

Новое:
Проверка текста через Текст.ру с ProxyLiteFree - проверка на уникальность, используя прокси расширения Хром. На данный момент в ротации 46 расширений.
Тесты и викторины - прототип тестов и викторин для Яндекс.Дзен. Создает тесты и викторины для Яндекс.Дзен.

И многое другое. И по традиции скидка - до конца выходных цена за комплект 400 рублей. Даже если сейчас не пригодится, взять про запас, уникальный текст всегда пригодится.

Кто брал через магазин, отпишите на емейл [email protected] для внесения вашей почты в базу рассылок для обновлений.

Цена - 400 рублей
Почта - [email protected]

Киви: 9619995137
Яндекс-Деньги: 410011187505134
WMZ-кошелёк - Z603308316146

Или так - Ссылка на магазин - новая версия от 01.05.2022: _catcut.net/product/43540

В примечании введите свой емейл, он будет внесен в базу рассылок. Привязка не нужна, все шаблоны открыты.

 

[Grush20]

Добрый день. Функционал восстановления всего сайта, а не только сбора текста сейчас работает?

 

[footashes]

Добрый день. Функционал восстановления всего сайта, а не только сбора текста сейчас работает?

Да, пример ниже.

 

[Grush20]

Да, пример ниже.

Форматирование с картинками не берёт что ли?

Всё, разобрался. норм.

А пути относительными можно делать?

 

[footashes]

Форматирование с картинками не берёт что ли?

Нужно на сервере запускать, как вордпресс, там используется PHP.

 

[Grush20]

Нужно на сервере запускать, как вордпресс, там используется PHP.

Да, понял.

Пути относительные можно делать автоматом?