WebArchiveMaster - парсер Вебархива2

one

Client
Регистрация
22.09.2015
Сообщения
6 834
Благодарностей
1 275
Баллы
113

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Ну был такой прецедент, когда подали в суд за чужое фото. Просто от греха подальше.
Да, понял.

Пути относительные можно делать автоматом?
Скачивается весь сайт со всей структурой в виде html. Что с ним делать? Можно забросить на свой хостинг. Можно перенести на Вордпресс. Приоритет стоит на Вебархивмастер - забрать текст и проверить его на уникальность.
 

Grush20

Client
Регистрация
27.07.2017
Сообщения
32
Благодарностей
5
Баллы
8
Скачивается весь сайт со всей структурой в виде html.
Какая-то ошибка проверки сертификата при попытке восстановить любой сайт.

Код:
C:\Sites>wayback_machine_downloader http://www.1tv.ru/ --to 20170829053242
Downloading http://www.1tv.ru/ to websites/www.1tv.ru/ from Wayback Machine archives.

Getting snapshot pagesC:/RailsInstaller/Ruby2.3.3/lib/ruby/2.3.0/net/http.rb:933:in `connect_nonblock': SSL_connect returned=1 errno=0 state=error: certificate verify failed (OpenSSL::SSL::SSLError)
Что делать?


ЗЫ:Запустил, всё ок.
 
Последнее редактирование:

Grush20

Client
Регистрация
27.07.2017
Сообщения
32
Благодарностей
5
Баллы
8

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Почему в вашем примере в папке "wp-content" присутствуют папки "themes" и "plugins", а у меня скрипт не скачивает их? Пробовал на том же сайте, разные даты.
Не знаю, такой запрос: wayback_machine_downloader http://otpuskvsegda.ru скачивает всё, что есть. Возможно, что-то мешает - обрыв связи и т.д. Вообще, нужно писать на почту, здесь это считается UP,ом.
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Небольшое обновление - Субтитры Ютуб1.9. Ютуб много чего изменил, если что, пишите на почту. Разошлю вечером.
Небольшое объявление - магазин текстов. Я к нему никакого отношения не имею, но кто хочет, может продавать тексты.

Здравствуйте уважаемые копирайтеры, заказчики и интернет предприниматели!
Приглашаем Вас в новую биржу копирайтинга https://text-market.ru/
1.jpg


Что мы предлагаем:

Для заказчиков и покупателей:
- Пополнение статей на сайт каждый день;
- Проверка статей антиплагиатами content-watch, text/ru, etxt в зависимости от выбранной категории;
- Возврат средств или обмен на другую статью, если уникальность ниже 95% по указанным антиплагиатам;
- Удобная покупка статей. Вы можете выбрать одну статью или несколько штук, указать свой емейл и ссылка на статью прилетит вам на почту без всяких регистраций.
- Удобная оплата как в ручном режиме так и в автоматическом сервисом Free Kassa (Киви, Яндекс,Visa и тд.);
- На сайте есть обратная связь и тикет система. На все случаи жизни вам напишут ответ на ваш вопрос.

Для копирайтеров:

- Быстрая проверка статей модерацией;
- Выплаты минимальные на QIWI, Yoomoney от 200 рублей;
- Поддержка от администрации;
- Удобный интерфейс сайта, выбор категории антиплагиатов;

2.png
WebArchiveMaster и обновленные вспомогательные шаблоны
Цена
- 500 рублей
Почта - [email protected]

Киви: 9619995137
Яндекс-Деньги: 410011187505134
WMZ-кошелёк - Z603308316146
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Небольшие изменения в парсинге текста с Вебархива WebArchiveMaster:
Вам нужно ввести эти данные:
Screenshot_1.jpg

Также минимальная версия - ZennoPoster RU 5.30.0.0, так-как используется Хром, на версиях ниже использовался Фаерфокс, который Зеннолаб уже не обновляет

P.S.
Также, для тех, у кого WebArchiveMaster работает круглосуточно, как у меня - рекомендую смотреть файл Comments.txt - туда пишутся комментарии, файл может быть очень сильно раздут, не давайте ему раздуться более 2 МБ, упадет скорость парсинга и возрастет нагрузка на диск.

Screenshot_2.jpg
 
  • Спасибо
Реакции: max_linder

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
__
 
Последнее редактирование:

zenovl

Client
Регистрация
28.07.2022
Сообщения
17
Благодарностей
3
Баллы
3
На версии 7.7.1 будет работать?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
На версии 7.7.1 будет работать?
Не знаю, у меня ZennoPoster RU 5.30.0.0. По идее должен, ниже 5.30.0.0 работать не будет, так-как используется Хром, а ниже 5.30.0.0 Фаерфокс, который не обновляется.
 

zenovl

Client
Регистрация
28.07.2022
Сообщения
17
Благодарностей
3
Баллы
3
Мощный шаблон! Все работает и на версии 7.7.1
Шаблон может спарсить все файлы сайта, включая бд(если сайт был на wordpress), для установки на wordpress?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Мощный шаблон! Все работает и на версии 7.7.1
Шаблон может спарсить все файлы сайта, включая бд(если сайт был на wordpress), для установки на wordpress?
Там приложен wayback-machine-downloader - скрипт на Руби, который может спарсить все файлы с картинками - но переносить на вордпресс придется вручную. БД на хостинге не лежат, я такого не встречал.

Кстати, представляю полностью рабочий прототип тестов и викторин для Яндекс.Дзен. Кому это подойдет? Всем, кто ведет канал и столкнулся с кризисом идей - вы можете разбавить свои мысли тестами и викторинами - людям это нравится. Если у вас ещё нет канала на Дзен - самое время его завести.

Шаблон идет с ВебархивМастер, если кто-то испытывает трудности с тестами- https://quizguess.ru. Здесь вы можете посмотреть викторины и тесты, прежде чем приобрести.
 
Последнее редактирование:

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Актуально:

WebArchiveMaster и обновленные вспомогательные шаблоны
Цена
- 500 рублей
Почта - [email protected]

Киви: 9619995137
Яндекс-Деньги: 410011187505134
WMZ-кошелёк - Z603308316146
 

rewrite008

Client
Регистрация
09.07.2021
Сообщения
54
Благодарностей
29
Баллы
18

Mariys

Client
Регистрация
26.10.2018
Сообщения
67
Благодарностей
8
Баллы
8
здравствуйте, посмотрите проверку на уникальность шаблона text/ru, он с перебоями работает
 
  • Спасибо
Реакции: Sho

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Осень — время перемен. На нашем сервисе тоже произошло важное обновление. Сейчас расскажем подробнее.
Каждому нашему пользователю доступны бесплатные символы для проверки текста. Они обновляются ежедневно. Приоритета в скорости у такой проверки нет, но на качество это никак не влияет.

Новые лимиты бесплатных символов:

  • Для незарегистрированных пользователей — 5000 символов в сутки.
Нужно будет исправить в шаблоне минимальное количество символов, сейчас стоит 10 000, нужно будет установить 5 000. Текст ру закручивает гайки. Вечером проверю.
 

rewrite008

Client
Регистрация
09.07.2021
Сообщения
54
Благодарностей
29
Баллы
18
Осень — время перемен. На нашем сервисе тоже произошло важное обновление. Сейчас расскажем подробнее.
Каждому нашему пользователю доступны бесплатные символы для проверки текста. Они обновляются ежедневно. Приоритета в скорости у такой проверки нет, но на качество это никак не влияет.

Новые лимиты бесплатных символов:

  • Для незарегистрированных пользователей — 5000 символов в сутки.
Нужно будет исправить в шаблоне минимальное количество символов, сейчас стоит 10 000, нужно будет установить 5 000. Текст ру закручивает гайки. Вечером проверю.
Адвего тоже не работает, они дополнительную капчу ввели. Плюс на почту никаких обновлений не приходит уже с июля..
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Адвего тоже не работает, они дополнительную капчу ввели. Плюс на почту никаких обновлений не приходит уже с июля..
Я в курсе, они ввели рекапчу, ждал, может снимут. Шаблоны открыты, подключить рекапчу не проблема. Займусь всем на неделе.
 
  • Спасибо
Реакции: todayer и rewrite008

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Новая версия - TextruV1.7 - используются прокси IP6
Новая версия - TextRuBASProxyLiteFreeV2 - используются бесплатные прокси расширений Хром
Версия Advego будет переделана, есть идея использовать расширение Хром для бесплатного разгадывания Рекапчи, займет несколько дней.

Всем отправил
 
  • Спасибо
Реакции: todayer

Rusv

Client
Регистрация
04.09.2021
Сообщения
17
Благодарностей
2
Баллы
3
Подскажите, есть ли возможность поиска домена по нишам? Если да, то как? Я так понял, если домен сути сайта не отображает, сложно определить его тематику
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Подскажите, есть ли возможность поиска домена по нишам? Если да, то как? Я так понял, если домен сути сайта не отображает, сложно определить его тематику
В WebArchiveMastersV4.14 есть один способ - поиск по ключевым словам. Парсятся выборочно страницы домена и ищутся ключевые слова. Если есть хоть одно совпадение, домен записывается отдельно и берется следующий домен для проверки.

Screenshot_1.jpg
 
  • Спасибо
Реакции: Rusv

Rusv

Client
Регистрация
04.09.2021
Сообщения
17
Благодарностей
2
Баллы
3
Спасибо! Есть ли возможность избежать экстракт контента определенных страниц, к примеру услуг, где есть ключи эти? Как быть в таком случае? Чтобы парсились только текста страниц блога, и если есть какая-то возможность искать только сайты с блогом, было бы интересно узнать, как оптимизировать, заранее благодарен.
 

Stailzore

Новичок
Регистрация
27.09.2019
Сообщения
3
Благодарностей
1
Баллы
3
Подскажите, пожалуйста. Делаю вроде все по инструкции, но тексты не сохраняются в made websites, просто пустая папка.
В инстансах один и тот же текст ошибки, скрин прикладываю.
Шаблон версии 4.14
Зенка 7.7.1


2022-09-28_23-42-50.png2022-09-28_23-42-13.png
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Подскажите, пожалуйста. Делаю вроде все по инструкции, но тексты не сохраняются в made websites, просто пустая папка.
В инстансах один и тот же текст ошибки, скрин прикладываю.
Шаблон версии 4.14
Зенка 7.7.1


Посмотреть вложение 97942Посмотреть вложение 97941
Скорее всего, используется php7 в опен сервере, нужно 5 версии. Пишите по проблемам на почту [email protected].
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Регистратор eclipso.eu - Электронная почта, облако, почта, офис и многое другое.
Screenshot_2.jpg


Регистрируемся на https://captcha.guru, получаем ключ. Не забываем запустить бат файл – он добавит в файл hosts перенаправление на https://captcha.guru.

Регистратор eclipso.eu
  • Количество потоков – выбираете, во сколько потоков регистрировать
  • Ваш прокси – ваш прокси на компьютере – чтобы не регистрировать аккаунты с вашего прокси, программа будет сравнивать прокси с вашим, и если будет совпадение, будет перезапуск потока
  • Использовать прокси – вы можете использовать свои прокси – http(s), soks, с паролем\без пароля. Также можете использовать ProxyLiteFree – это прокси магазина Хром
  • Ключ captcha.guru – вставляете в это поле ключ
  • Url сервера - Вместо Rucaptcha.com используйте 159.69.241.182. В вашем кабинете captcha.guru может отличаться
  • Количество попыток капчи – если 3 раза капча будет разгадана неверно, поток перезапустится
sd.jpg


Прокси.txt – здесь ваши прокси
Чешская почта – сюда будут сохраняться зарегистрированные аккаунты

Screenshot_3.jpg


Цена - 500 рублей

Почта - [email protected]

Киви: 9619995137
Яндекс-Деньги: 410011187505134
WMZ-кошелёк - Z603308316146
 

Вложения

  • 126,4 КБ Просмотры: 112

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Обновление проверки текста на уникальность через Адвего - AdvegoV2. Прохождение рукапчи и многое другое. Разошлю в пятницу.
Отправил всем.
ВидеоТуториал:

WebArchiveMaster и обновленные вспомогательные шаблоны
Цена
- 500 рублей
Почта - [email protected]

Киви: 9619995137
Яндекс-Деньги: 410011187505134
WMZ-кошелёк - Z603308316146
 
Последнее редактирование:
  • Спасибо
Реакции: todayer

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Новая версия ВебархивМастер 4.15
  • Убрано ненужное
  • Переделан регикс
  • Многое другое
Если вам нужно спарсить за определённый год, вы можете написать, какой год вы хотите парсить

webr.jpg
 
  • Спасибо
Реакции: todayer

Mariys

Client
Регистрация
26.10.2018
Сообщения
67
Благодарностей
8
Баллы
8
Здравствуйте когда ждать рассылку обновление шаблона??
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Актуально.

WebArchiveMaster и обновленные вспомогательные шаблоны
Цена
- 500 рублей
Почта - [email protected]

Киви: 9619995137
Яндекс-Деньги: 410011187505134
WMZ-кошелёк - Z603308316146
 

KiryaBH

Новичок
Регистрация
21.05.2018
Сообщения
8
Благодарностей
6
Баллы
3
Небольшое обновление - Субтитры Ютуб1.9. Ютуб много чего изменил, если что, пишите на почту. Разошлю вечером.
Приветствую. Вышлите обновленный шаблон. Вчера написал на почту
 

Кто просматривает тему: (Всего: 3, Пользователи: 0, Гости: 3)