WebArchiveMaster - парсер Вебархива2

ZennoFun

Новичок
Регистрация
21.05.2018
Сообщения
17
Благодарностей
2
Баллы
3

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Тестирование новой версии прошло успешно, по крайней мере, сбоев не наблюдалось.
Пример парсинга с такими настройками через прокси:

Screenshot_1.jpg


Текст с первого попавшегося домена:
Скачать

Note:

Уникальный текст без ключевых слов бесполезен. Вы можете нанять копирайтера (такое уже было, человек вложил кучу денег и нанял 5 копирайтеров, которые писали уникальный текст, вот только забыл про основу основ - семантику, без которой писать интересные статьи в интернете, как писать в стол - их никто никогда не увидит). Без правильных ключей статьи бесполезны, как это ни прискорбно. При условии, что у вас не трастовый сайт, который ничем не убьешь.

Берите пример с дорвейщиков - там на первом месте ключи, на десятом текст, и они получают трафик. Если вы думаете, что будете ночами писать тект, который, по вашему, интересен людям и ПС это оценят, то вы жестоко ошибаетесь. До вас таких же было миллионы. Так что под уникальные тексты подбираете правильные ключи и ждете. По другому никак.

Р.S.

Чтобы отсеять шлак, используйте файл More.txt. Сейчас там по стандарту - анализируйте и дополняйте под себя.

Всем разослал. Если не пришло, смотрите в спаме.
 

Вложения

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Так, сейчас у меня мало времени - запускаю сайт на текстах из Вебархива. А то я их всё продаю и продаю: сделал - продал. Надо и себе оставить. Нашел более сотни уника по тематике туризм - Вена, Прага и т.д. По моей методике это заняло около трёх часов, но оно этого стоило. Текстов там миллиарды, просто подними. И да - ключи, ключи... Сколько говорено - используйте грамотно ключевые СНЧ.

Какими бы распрекрасными не были бы тексты, без ключей их никто никогда не увидит. Люди брали кредиты и нанимали копирайтеров, не понимая, что без запросов текст ничего не стоит. Пожалуй, потом покажу свой сайт, как его двигать. Почитайте этот тред, я там всё описывал - http://zennolab.com/discussion/threads/webarchivemaster-parser-vebarxiva.40540/

Также планируется обновление - WebArchiveMastersV2.6 и ParserDomens теперь будут работать вместе, так-как они используют одинаковый алгоритм. Также будут небольшие изменения в алгоритме, в основном, в рациональном использовании инстанса.

Все контакты актуальны, не нужно писать в топике, пишите в ЛС или на почту. Раз в день я всё просматриваю, можно немного подождать. Данные продублирую на всякий случай; тем не менее, они актуальны что здесь - http://zennolab.com/discussion/threads/webarchivemaster-parser-vebarxiva.40540/, что здесь - https://zennolab.com/discussion/threads/webarchivemaster-parser-vebarxiva2.45531/

Также пересмотрю проверку через Text.ru, так-как ориентироваться в итоге нужно на него.

WebArchiveMastersV2.6 - парсер Вебархива + Дзен v2.2 + Антиплагиат + Мануал + Content Watch + ParserDomens.

Цена - 500 рублей. Шаблон полностью открытый и без привязок.

Вебмани: Z251978534905, R282711380496
Яндекс-Деньги: 410011187505134
Киви - +7 961 999‑51‑37
PayPal - [email protected]
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
WebArchiveMastersV2.7. Изменения

  1. Совмещены две программы - WebArchiveMasters и ParserDomens. Теперь можно забирать текст и домены одновременно
  2. Изменена логика шаблона - многое убрано во входящие настройки
  3. Пофиксены некоторые моменты

Парсить текст можно на любом языке. Парсинг доменов по методике дает вероятность найти тексты по своей тематике.
Парсинг доменов - с одного сайта спарсил около 500 дропнутых доменов - а там и туризм, и ремонт и много всего. Не забывайте, что таких охотников с разными программами сотни и сотни.

Screenshot_1.jpg

Запустил свой сайт - сайту три дня, примерно 5-6 заходов. Кто-то поставил ссылку на сайт, есть заходы оттуда. Заходы с соцсетей. Это нормально - сайт нулевой и чтобы получить трафик с органической выдачи, это надо заслужить. Конкуренция огромная, нужны свои фишки. И они есть. Сайт покажу через пару недель.

Screenshot_2.jpg


Новая версия парсера прошла тестирование. Осталось только дополнить помощь - как это работает и за что отвечает. Разошлю сегодня-завтра, как только допишу.
P.S.
Используйте парсинг по методике, чтобы найти свой домен, с которым вам повезет. Я в свое время нашел отличный домен по своей тематике с более чем 300 уникальных статей. Их много, но то, что я нашел - это была вещь.
 
Последнее редактирование:
  • Спасибо
Реакции: Nike59 и sergey_l

viktor045

Client
Регистрация
02.09.2018
Сообщения
67
Благодарностей
17
Баллы
8
WebArchiveMastersV2.7. Изменения

  1. Совмещены две программы - WebArchiveMasters и ParserDomens. Теперь можно забирать текст и домены одновременно
  2. Изменена логика шаблона - многое убрано во входящие настройки
  3. Пофиксены некоторые моменты

Парсить текст можно на любом языке. Парсинг доменов по методике дает вероятность найти тексты по своей тематике.
Парсинг доменов - с одного сайта спарсил около 500 дропнутых доменов - а там и туризм, и ремонт и много всего. Не забывайте, что таких охотников с разными программами сотни и сотни.


Запустил свой сайт - сайту три дня, примерно 5-6 заходов. Кто-то поставил ссылку на сайт, есть заходы оттуда. Заходы с соцсетей. Это нормально - сайт нулевой и чтобы получить трафик с органической выдачи, это надо заслужить. Конкуренция огромная, нужны свои фишки. И они есть. Сайт покажу через пару недель.



Новая версия парсера прошла тестирование. Осталось только дополнить помощь - как это работает и за что отвечает. Разошлю сегодня-завтра, как только допишу.
P.S.
Используйте парсинг по методике, чтобы найти свой домен, с которым вам повезет. Я в свое время нашел отличный домен по своей тематике с более чем 300 уникальных статей. Их много, но то, что я нашел - это была вещь.
Как получить обновления?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Как получить обновления?
Не нужно здесь писать - пишите в ЛС или на почту. Обновления отправлю всем по базе, как только допишу помощь. Отпишу об отправке здесь. Если кто не получит, пишите на почту или в ЛС.

Отправил всем. Были небольшие проблемы со связью. Если не получили, пишите на почту.
 
Последнее редактирование:

bizzon

Client
Регистрация
08.09.2015
Сообщения
1 103
Благодарностей
132
Баллы
63
Так что под уникальные тексты подбираете правильные ключи и ждете
Прости не включусь, обычно под ключи тянули тексты.
Здесь наоборот, уникальные тексты, а ключи как-то нужно добавлять?
Т.е. нужна правильная доработка текста?
Еще хотел спросить о прокси. Это нужно для скачивания из архива или речь идет о проверке на уник?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Прости не включусь, обычно под ключи тянули тексты.
Здесь наоборот, уникальные тексты, а ключи как-то нужно добавлять?
Т.е. нужна правильная доработка текста?
Еще хотел спросить о прокси. Это нужно для скачивания из архива или речь идет о проверке на уник?
Смотреть о чем статья и затачивать под запросы. Прокси нужны, если Вебархив заблокирован Роскомнадзором. Если нет, то не нужны.
 

dima8121

Client
Регистрация
09.09.2018
Сообщения
14
Благодарностей
6
Баллы
3

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Что-то перестал работать Text.ru выдает следующую ошибку:
https://yadi.sk/i/R7lU1WFuNYDoew
Сам проксичекер для проверки через Текст.ru подключен? Нужно уметь фильтровать прокси и иметь свои источники. Должно быть так:

Screenshot_1.jpg

Вчера проверил около 70 текстов за час на обычных паблик-прокси из проксичекера. Сейчас на пробу взял несколько текстов:

Screenshot_2.jpg


P.S.
Резервный вариант через Хайдми изменил данные, переделаю логику на входные настройки и разошлю. Либо вы можете сами поменять https://hidemy.name на https://hidemyname.org. Также сделаю видео, как работать через три варианта: проксичекер, Хайдми или свои прокси. Если нужно, там и так вроде всё написано.
 

poseydon

Client
Регистрация
21.04.2010
Сообщения
6
Благодарностей
0
Баллы
1
когда ждать рассылку?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83

dima8121

Client
Регистрация
09.09.2018
Сообщения
14
Благодарностей
6
Баллы
3
Прошу прощения картинка по ссылке удалилась. Шаблон выдает следующую ошибку:
2018-09-11_13-30-16.png

Если сделать данный кубик необязательным к исполнению, то работает нормально:
2018-09-11_13-30-51.png
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Прошу прощения картинка по ссылке удалилась. Шаблон выдает следующую ошибку:Посмотреть вложение 31836
Если сделать данный кубик необязательным к исполнению, то работает нормально:
Посмотреть вложение 31837
Лучше перезагрузку инстанса удалить, на разных версиях Зеннопостер он ведет себя по разному. Через пару дней объединю в один шаблон и входные настройки. В WebArchiveMastersV2.7 тоже всплыла проблема - при формировании данных из-за ненужной функции затрачивается около 20 минут на 3 mb файл. Будет около 10 секунд.
 
  • Спасибо
Реакции: Nukekuper

celcumplit

Client
Регистрация
18.10.2014
Сообщения
31
Благодарностей
3
Баллы
8
Ждем обновления а то как то все висит
 

Nukekuper

Client
Регистрация
25.04.2017
Сообщения
13
Благодарностей
1
Баллы
3
Лучше перезагрузку инстанса удалить, на разных версиях Зеннопостер он ведет себя по разному. Через пару дней объединю в один шаблон и входные настройки. В WebArchiveMastersV2.7 тоже всплыла проблема - при формировании данных из-за ненужной функции затрачивается около 20 минут на 3 mb файл. Будет около 10 секунд.
А когда обновление планируется?
 

mihali428

Новичок
Регистрация
13.09.2018
Сообщения
4
Благодарностей
0
Баллы
1
Хочу приобрести ваш шаблон WebArchiveMaster, как с вами связаться? У меня нет WM и Яндекс денег, при оплате с киви на вебмани не могу указать за что плачу и свои контактные данные.
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
WebArchiveMastersV2.8

Screenshot_1.jpg


Добавлена возможность чекать домены, если была включена настройка фильтрации доменов. Данные будут сортироваться в папке "verified domains". Все эти настройки замедляют скорость парсинга. Чекинг можно прервать в любой момент, все данные в это время будут уже сформированы.

Screenshot_2.jpg


Перезагрузка инстанса - если у вас теряется связь со скриптом, скорее всего завис инстанс. Ставьте большее значение. Если не хотите перезагружать инстанс, ставьте 999999.
Если зависание всё-таки произойдет, шаблон попытается сбросить все данные и перезапуститься. Я такую проблему у себя воспроизвести не могу, поэтому пришлите на емейл id ошибки, фото и желательно видео. Можно логи. Проверено на версии 5.17.2.0. Проблем не выявлено.

Проверка через Textru и Content-watch

Хотел сделать видео, посмотрел "Проверка текста через Textru.pdf", там всё описано. Проверял сегодня несколько часов через проксичекер, Хайдми и свои прокси - всё проверяется. Стандартные прокси через проксичекер заходят лучше Хайдми. Но лучше использовать свои источники. Проверка в проксичекере идет только через анонимные Http, socks не предусмотрен, так-как вряд ли они будут в свободном доступе. Ну и учитывайте, что бесплатные прокси - это низкая скорость и смерть в самый не подходящий момент.

Screenshot_3.jpg

Уникального текста валом. В следующем обновлении будет встроенный шаблон чистки текстов, сейчас набираются данные для анализа.
Разошлю через час. Если что, пишите на емейл или в ЛС.
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Хочу приобрести ваш шаблон WebArchiveMaster, как с вами связаться? У меня нет WM и Яндекс денег, при оплате с киви на вебмани не могу указать за что плачу и свои контактные данные.
Цена - 500 рублей. Шаблон полностью открытый и без привязок.

Вебмани: Z251978534905, R282711380496
Яндекс-Деньги: 410011187505134
Киви - +7 961 999‑51‑37
PayPal - [email protected]
 
  • Спасибо
Реакции: mihali428

mihali428

Новичок
Регистрация
13.09.2018
Сообщения
4
Благодарностей
0
Баллы
1

celcumplit

Client
Регистрация
18.10.2014
Сообщения
31
Благодарностей
3
Баллы
8
Спс изменение значения инстанс помогло. В сколько потоком можно запускать шаблон?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Спс изменение значения инстанс помогло. В сколько потоком можно запускать шаблон?
Размножить папки по типу WebArchiveMasters1...WebArchiveMasters10, привязать каждую к своему потоку и сделать общий блеклист. Каждому шаблону можно привязать свой прокси или использовать не больше 5-7 потоков с отключением проверки доменов, так-как он даёт лишний запрос к Вебархиву. Машине Времени может не понравиться слишком много запросов с одного IP. Можно подключать по одному и смотреть инстансы.
 
  • Спасибо
Реакции: Nike59

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Итак, WebArchiveMaster 3.0

  1. Использована техника чистки текста - убрать двойные пробелы, пробелы с запятыми становятся просто запятыми и т.д.
  2. Отсекаются мусор после - Релейтед пост, Читайте меня и т.д. Можно вставлять свои данные. Можно использовать на любом языке. А WebArchiveMaster может парсить на любых языках
  3. Также есть решение продавать текст в магазине - если интересно, пишите
 

dima8121

Client
Регистрация
09.09.2018
Сообщения
14
Благодарностей
6
Баллы
3
footashes. А скажите, как вы размещаете тексты на своих сайтах? Шаблоном?
 

Buch

Client
Регистрация
15.02.2016
Сообщения
260
Благодарностей
75
Баллы
28
  • Спасибо
Реакции: footashes

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
footashes. А скажите, как вы размещаете тексты на своих сайтах? Шаблоном?
Программа рассчитана забирать текст массово с любых сайтов на любом языке., используя методику. Это не дорвей для постинга шаблоном.
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Привет! Интересно...очень
Работа с магазином Вебархива textnet.ru. Они давно купили этот шаблон, но им не хватает продавцов. Заработок примерно 500-800 рублей в день, так-как тексты берут пачками тысячами. Мне лень этим заниматся, но вы можете попробовать. Свяжитесь с админом в этом магазине.
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Спасибо,попробую.
Да, напишу сразу - нельзя взять и заработать денег просто так. Нужны инструменты. Я попытался это обойти, но время - деньги. Для профессионального парсинга текста нужен Зеннопостер Стандарт (у меня Лайт, так-как мне хватает) - принцип работы на стандарте - на всех потоках висит парсинг доменов, всё, что спарсено, обрабатывает AntiPlagiarism.NET, а для обработки нужен (другой софт) или Кепмонстр. Есть альтернативный вариант, который гораздо лучше - использовать шаблон Текст.ру. Прокси бесплатные, но потребуется минимум 10-15 потоков для скорости. Уникальный текст ценится везде - добудете его, можете продавать пачками.

P.S.
Кстати, методика поиска дропов очень сильно увеличит вам шансы найти свой бриллиант. Те домены, что я находил с помощью методики, не значились ни в одном списке брошенных доменов. Тут работа поинтересней.
 
Последнее редактирование:

deonisii

Client
Регистрация
23.03.2012
Сообщения
98
Благодарностей
14
Баллы
8
Итак, WebArchiveMaster 3.0

  1. Использована техника чистки текста - убрать двойные пробелы, пробелы с запятыми становятся просто запятыми и т.д.
  2. Отсекаются мусор после - Релейтед пост, Читайте меня и т.д. Можно вставлять свои данные. Можно использовать на любом языке. А WebArchiveMaster может парсить на любых языках
  3. Также есть решение продавать текст в магазине - если интересно, пишите
Когда можно ожидать рассылку версии 3.0
 

Antikvar

Client
Регистрация
18.02.2011
Сообщения
9
Благодарностей
0
Баллы
1
Оплатил на ВМ, 3-ий день жду, писал на почту - тишина.
 

Кто просматривает тему: (Всего: 3, Пользователи: 0, Гости: 3)