- Регистрация
- 20.02.2015
- Сообщения
- 1 051
- Благодарностей
- 440
- Баллы
- 83
WebArchiveMaster - программа парсинга контента из ВебАрхива. Программа полностью автоматизирована и позволяет разгрузить своё время на 90%. Программа работает в связке с PHP скриптом, который можно поставить на любой хостинг или использовать Open Server - https://ospanel.io (рекомендуется).
Принцип работы очень прост - нужно только вставить домены в текстовый файл и запустить программу - все остальное она сделает сама. Никаких настроек нет, так-как все настроено на максимальную производительность.
Пример спарсенных текстов - скачать пример
Скачать мануал - WebArchiveMaster.pdf
Цена - 500 рублей. Шаблон полностью открытый и без привязок.
Пишите на емайл: [email protected] или в телеграмм.
WebArchiveMaster - парсер Вебархива + Black Widow Spider + Антиплагиат + Мануал + Content Watch за 500 рублей. Восстановление всего сайта из Вебархива. Полностью готовый сайт, остается только залить на сервер. Все купившие WebArchiveMaster получат его бесплатно.
Киви: 9619995137
Яндекс-Деньги: 410011187505134
В примечании введите свой емейл.
Что идет с WebArchiveMaster :
Доработал проверку текста через text.ru, используя прокси. Примерный алгоритм:
Программа всё делает автоматически, вмешательство не требуется.
Для кого это? Это пригодится копирайтерам, так-как текст.ру самый вменяемый проверяльщик, по моему мнению - я ориентируюсь в своей работе только на него. Новичкам, которые хотят узнать, как зайти на сайт с помощью прокси и где их взять. Также это пригодится тем, кто хочет использовать прокси в своей работе - шаблон позволяет модернизировать логику и сделать на этой базе что угодно, что требует использования прокси - спамер Мой Мир, регистрация почтовых ящиков и т.д.
Также шаблон пригодится как дополнение к парсеру вебархива, так-как для проверки уникальности не требуется капча, а многие стопорятся именно на проверке уникальности.
Программа всё делает автоматически, вмешательство не требуется.
- Парсинг русских прокси.
- Проверка этих прокси на работоспособность (чекинг).
- Берем прокси и переходим на проверку текста (берем текст из папки "База статей").
- После проверки переносим файл из папки "База статей" в папки "Уникальные" или "Копипаст" (в зависимости от проверки).
- Перед каждым файлом пишется процент уникальности - например, Уникальность 0_13% - ваш текст.txt или Уникальность 83_04% - ваш текст.txt
Для кого это? Это пригодится копирайтерам, так-как текст.ру самый вменяемый проверяльщик, по моему мнению - я ориентируюсь в своей работе только на него. Новичкам, которые хотят узнать, как зайти на сайт с помощью прокси и где их взять. Также это пригодится тем, кто хочет использовать прокси в своей работе - шаблон позволяет модернизировать логику и сделать на этой базе что угодно, что требует использования прокси - спамер Мой Мир, регистрация почтовых ящиков и т.д.
Также шаблон пригодится как дополнение к парсеру вебархива, так-как для проверки уникальности не требуется капча, а многие стопорятся именно на проверке уникальности.
Проверка текста через Content-Watch, используя прокси. Примерный алгоритм:
Программа всё делает автоматически, вмешательство не требуется.
Скорость проверки текста зависит от прокси и загруженности сервиса. В моем случае это составляет примерно 50 текстов в час.
Для кого это? Это пригодится копирайтерам, так-как текст.ру самый вменяемый проверяльщик, по моему мнению - я ориентируюсь в своей работе только на него. Новичкам, которые хотят узнать, как зайти на сайт с помощью прокси и где их взять. Также это пригодится тем, кто хочет использовать прокси в своей работе - шаблон позволяет модернизировать логику и сделать на этой базе что угодно, что требует использования прокси - спамер Мой Мир, регистрация почтовых ящиков и т.д.
Также шаблон пригодится как дополнение к парсеру вебархива, так-как для проверки уникальности не требуется капча, а многие стопорятся именно на проверке уникальности.
Программа всё делает автоматически, вмешательство не требуется.
- Парсинг русских прокси.
- Проверка этих прокси на работоспособность (чекинг).
- Берем прокси и переходим на проверку текста (берем текст из папки "База статей").
- После проверки переносим файл из папки "База статей" в папки "Уникальные" или "Копипаст" (в зависимости от проверки).
- Перед каждым файлом пишется процент уникальности - например, Уникальность 0_13% - ваш текст.txt или Уникальность 83_04% - ваш текст.txt
- Добавлена возможность использования своих прокси. Для этого в файл My_proxys вставляете свои прокси, шаблон забирает их и работает с этими прокси, а файл очищает. Если прокси не рабочий, он удаляется и берется другой. Когда все прокси будут отработаны, файл проверяется, и если он пустой, запускается автоматический парсинг и чекинг прокси с hidemy. Как правило, собственные прокси работают на несколько порядков быстрее. В шаблон Textru тоже добавлена возможность использования своих прокси.
Скорость проверки текста зависит от прокси и загруженности сервиса. В моем случае это составляет примерно 50 текстов в час.
Для кого это? Это пригодится копирайтерам, так-как текст.ру самый вменяемый проверяльщик, по моему мнению - я ориентируюсь в своей работе только на него. Новичкам, которые хотят узнать, как зайти на сайт с помощью прокси и где их взять. Также это пригодится тем, кто хочет использовать прокси в своей работе - шаблон позволяет модернизировать логику и сделать на этой базе что угодно, что требует использования прокси - спамер Мой Мир, регистрация почтовых ящиков и т.д.
Также шаблон пригодится как дополнение к парсеру вебархива, так-как для проверки уникальности не требуется капча, а многие стопорятся именно на проверке уникальности.
Новая версия Black Widow Spider для сбора тематических дропов. Нужен мощный компьютер, так-как программе нужно обработать десятки тысяч ссылок только одного сайта и правильные сайты для поиска дропов - сайты нужны старые, с комментариями не менее 3-4 лет, тогда вероятность нахождения очень сильно повышается.
Программа будет постоянно дорабатываться.
Также продаю мануал нахождения "жирных" сайтов в Вебархиве. Мануал разработан мной, я давно работаю именно по нему и частично там задействован Black Widow Spider. Позволяет найти такой текст, который не поддается автоматизации. Работа ручная, но за пару часов можно найти 50-60 дропов, до которых ещё никто не доюрался, и зарядить их в WebArchiveMasters.
Это особенно актуально для тех, кто продает текста или имеет сайты определенной тематики - парсить список дропов, это тыкать пальцем в небо, тут как повезет; моя методика позволяет работать точечно. Буквально за десять минут я нашел больше сотни уникальных статей по теме "Строительство". Выхода на покупателей у меня нет и сайта о стройке тоже, поэтому, что с ними делать, без понятия, кто захочет купить курс, тому и вышлю (первому покупателю). Думаю, вы найдете, куда их пристроить.
- Программа ускорена в 3-4 раза
- Изменена логика и убрано лишнее
- Двухсуточное тестирование не выявило падений Зеннопостер
- Множественные запросы к base приводили к её разрастанию до 1,5 ГБ, что приводило к замедлению работы и последующему падению Зеннопостер с выеданием всех ресурсов компьютера\сервера. Теперь base использует максимум 150 Мб, с последующей итерацией инстанс автоматически перезагружается и очищает память компьютера.
- Каждую копию запускать в одном потоке.
Программа будет постоянно дорабатываться.
Также продаю мануал нахождения "жирных" сайтов в Вебархиве. Мануал разработан мной, я давно работаю именно по нему и частично там задействован Black Widow Spider. Позволяет найти такой текст, который не поддается автоматизации. Работа ручная, но за пару часов можно найти 50-60 дропов, до которых ещё никто не доюрался, и зарядить их в WebArchiveMasters.
Это особенно актуально для тех, кто продает текста или имеет сайты определенной тематики - парсить список дропов, это тыкать пальцем в небо, тут как повезет; моя методика позволяет работать точечно. Буквально за десять минут я нашел больше сотни уникальных статей по теме "Строительство". Выхода на покупателей у меня нет и сайта о стройке тоже, поэтому, что с ними делать, без понятия, кто захочет купить курс, тому и вышлю (первому покупателю). Думаю, вы найдете, куда их пристроить.
Мануал по поиску тематических дропов
За основу был взят скрипт с Гитхаба, из его смысла был создан WebArchiveMasters, так-как восстановление сайтов потеряло актуальность 5-6 лет назад, нужно было забирать только тексты.
Помощь и уроки:
http://zennolab.com/discussion/attachments/full-text-rss-pdf.24190/
http://zennolab.com/discussion/attachments/proverka-unikalnosti-cherez-text-pdf.24188/
http://zennolab.com/discussion/attachments/webarchivemasters-pdf.24191/
http://zennolab.com/discussion/attachments/black-widow-spider-pdf.24189/
Видео по работе и установке:
https://youtu.be/z9fsoU4ZRwg
Шаблоны рассчитаны на массовую скачку текстов и проверку на плагиат с последующей продажей текстов или использованием для своих сайтов, желательно на сервере.
Предыдущая тема - http://zennolab.com/discussion/threads/webarchivemaster-parser-vebarxiva.40540/. Можете там почитать и пофлудить.
По всем вопросам прошу писать на [email protected] или в ЛС.
Telegram чат для поддержки: https://t.me/webarhives
Вложения
Последнее редактирование:
