WebArchiveMaster - парсер Вебархива2

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
WebArchiveMastersV4 alfa
  • Парсинг статей, доменов и проверка на уникальность через Текст.ру теперь работают одновременно. Программа парсит статью, и если она соответствует заданным требованиям, проверяет её на уникальность.
  • Изменена логика отсечения ненужных данных, раньше была проверка на грамматику и затем отсечение, что было неправильно, правильнее было сделать наоборот.
  • Сделано пошаговое видео, т.к. помощь никто не читает.
  • И многое другое.
 
  • Спасибо
Реакции: Yolbert_Shantry

belingon

Новичок
Регистрация
07.12.2018
Сообщения
1
Благодарностей
0
Баллы
1
WebArchiveMastersV4 alfa
  • Парсинг статей, доменов и проверка на уникальность через Текст.ру теперь работают одновременно. Программа парсит статью, и если она соответствует заданным требованиям, проверяет её на уникальность.
  • Изменена логика отсечения ненужных данных, раньше была проверка на грамматику и затем отсечение, что было неправильно, правильнее было сделать наоборот.
  • Сделано пошаговое видео, т.к. помощь никто не читает.
  • И многое другое.
Итакс где эта вкусняшка?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Итакс где эта вкусняшка?
Цена - 800 рублей. Шаблон полностью открытый и без привязок. Плюс решение по скоростной проверки на уникальность.

Вебмани: Z251978534905, R282711380496
Яндекс-Деньги: 410011187505134
Киви - +7 961 999‑51‑37
PayPal - [email protected]
 
Регистрация
01.12.2018
Сообщения
13
Благодарностей
2
Баллы
3
  • Спасибо
Реакции: jekula

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Ожидать ли рассылку обновлений уже купившим ранее?
Да, ориентировочно в четверг-пятницу, так-как нужно доделать пошаговое видео. При правильной настройке просто запустил и забыл. Сама парсит, проверяет и раскладывает по папкам.
Видео на Ютуб выкладываться не будет, так-как там есть некоторые тонкости. Будет просто рассылка.
Если нет Зеннопостера, можно взять Зеннобокс +10 баксов (1 поток).

Screenshot_1.jpg
 
Последнее редактирование:
  • Спасибо
Реакции: dsdos34 и Yolbert_Shantry

gold

Client
Регистрация
06.08.2011
Сообщения
17
Благодарностей
1
Баллы
3
Решил опять заняться Яндекс.Дзен. Времени много, сайтов напарсил нормально, 3 дня назад запустил проверку на уникальность. Проверял на Лайте 1,5 суток 3000 текстов по методике, так-как имеет смысл заходить сразу на 10 каналов. Хочу попробовать сливать на сайт, посмотрим, что выйдет.

На пробу сделал канал - прошло где-то сутки (канал делал ночью), там 9 статей женской тематики. Вижу заходы Толокеров. Пока так:

Посмотреть вложение 33779
Выводить на монету не собираюсь, хочу попробовать пустить трафик на сайт с 10 каналов одновременно дней через 10. Потом как-нибудь отпишу, чем закончилось.

Кстати, кто хочет посмотреть переходы проверок с Толоки, может, пригодится:
Привет а как яндекс дзен относиться к таким текстам.У них же сейчас эра уникального контента настала,остальным банан.Ведь многие из этих текстов из вебархива
были внесены владельцами мертвых сайтов в яндекс тексты.Знаю что переводные заходят на ура и сидят тоже.Они сейчас даже к фотке могут цеплятся,приходится и ее уникализировать.Ну а сайт свой подрубить нереально стало.
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Привет а как яндекс дзен относиться к таким текстам.У них же сейчас эра уникального контента настала,остальным банан.Ведь многие из этих текстов из вебархива
были внесены владельцами мертвых сайтов в яндекс тексты.Знаю что переводные заходят на ура и сидят тоже.Они сейчас даже к фотке могут цеплятся,приходится и ее уникализировать.Ну а сайт свой подрубить нереально стало.
Как-то так. Переводные тоже прекрасно банят. Там дело не в статье, а заголовке и картинке. Алгоритм сейчас опять поменяли, стало тяжелее. Специально писал в техподдержку три раза, всё нормально, никаких ограничений. Ради интереса на копипасте про звезд пессемизировали через два часа. А на вебархиве живет спокойно. Сделан просто для слива на сайт, пока набирает траст. Про тещу и звезд с путиным, если своими словами написать, то зайдет наверное.

Screenshot_1.jpg
 

gold

Client
Регистрация
06.08.2011
Сообщения
17
Благодарностей
1
Баллы
3
А не проще на монету поставить.И потом сливать на сайт.Точно не могу сказать но кажется каналы с монетой меньше банят и больше двигают.
Хотя алгоритм не поймешь их, у них там пьяный с трезвым рулят
 
Регистрация
01.12.2018
Сообщения
13
Благодарностей
2
Баллы
3
Screenshot_2.png

Очень сложно сказать, когда закончится весь этот бред.
И к сожалению не вижу альтернатив, чем и пользуются эти мракобесы с text ru
То впаривали регистрацию, теперь очередь.
 

Tvister

Client
Регистрация
09.09.2010
Сообщения
255
Благодарностей
33
Баллы
28



Такое часто выскакивает, что это значит?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Посмотреть вложение 34279
Очень сложно сказать, когда закончится весь этот бред.
И к сожалению не вижу альтернатив, чем и пользуются эти мракобесы с text ru
То впаривали регистрацию, теперь очередь.
Проверять желательно ночью по МСК. Все проверяют через Текст.ру, не нужно попадать на пики. Возможно ещё, что Текст.ру видит Зеннопостер, сделаю ротацию отпечатков браузера и проверяемых текстов.
 
Последнее редактирование:

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83



Такое часто выскакивает, что это значит?
Это помощь на сервера для вебархива. Каждый год вывешивают объявление на месяц. При парсинге это игнорируется и не попадает в текст.
 
Регистрация
01.12.2018
Сообщения
13
Благодарностей
2
Баллы
3
Проверять желательно ночью по МСК
И днем и ночью. После проверки нескольких текстов, около 70, начинается бан по тексту. В логах это строки с пропусками.

сделаю ротацию отпечатков браузера и проверяемых текстов
Именно о ротации текстов я вам вчера на почту и писал, но вы ни чего не ответили. (radion***@li**.ru)

В любом случае спасибо и ждем обновления)
 

Serhii Diachenko

Новичок
Регистрация
06.03.2016
Сообщения
5
Благодарностей
1
Баллы
3

Serhii Diachenko

Новичок
Регистрация
06.03.2016
Сообщения
5
Благодарностей
1
Баллы
3

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
  • Спасибо
Реакции: Fantomass

Fantomass

Client
Регистрация
13.04.2016
Сообщения
86
Благодарностей
36
Баллы
18

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
  • Спасибо
Реакции: Fantomass

Fantomass

Client
Регистрация
13.04.2016
Сообщения
86
Благодарностей
36
Баллы
18
дел
 
Последнее редактирование:

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
Он приложен при рассылке. Но алгоритмы сто раз поменялись, так-что для примера. Ротация при проверке только в шаблоне Текст.ру, так-как при одновременном парсинге и проверке ротации текста не может быть - текст будет проверятся, пока не проверится.
 

BobiK

Новичок
Регистрация
15.12.2018
Сообщения
18
Благодарностей
1
Баллы
3
Купил сегодня, потестируем. Без зенопостера я так понимаю будет работать? Я так понял плагин к зенопостеру - тоже самое, только под Win? Для проверки уникальности планирую использовать пакетный AntiPlagiarism.NET+(другой софт)
 

Ddnix

Client
Регистрация
15.10.2017
Сообщения
14
Благодарностей
2
Баллы
3
WebArchiveMastersV4 alfa
  • Парсинг статей, доменов и проверка на уникальность через Текст.ру теперь работают одновременно. Программа парсит статью, и если она соответствует заданным требованиям, проверяет её на уникальность.
  • Изменена логика отсечения ненужных данных, раньше была проверка на грамматику и затем отсечение, что было неправильно, правильнее было сделать наоборот.
  • Сделано пошаговое видео, т.к. помощь никто не читает.
  • И многое другое.
Доброго времени суток, спасибо за 4 версию шаблона, это круто. У меня вопрос

1) Может помните у меня была проблема, не парсились домены, дорвеи и.т.д у меня стоит версия pro 5.11.6.0 скачал демку 5.25.0.0 все работает. Поэтому можно сделать вывод, что вопрос в версии. В моем случае можно что-то сделать? Или тут только поможет обновление до нужной версии 5.17.2.0 ?

2) При проверке на плагиат
 

Ddnix

Client
Регистрация
15.10.2017
Сообщения
14
Благодарностей
2
Баллы
3
2) При проверке на плагиат переход на следующий прокси будет только после того как каждый исчерпает лимит проверок в день?
3) Можно ли добавить как то, чтоб после какого то количества обнаружения копипасты(наверное с возможностью регулирования количества) программа переходила к новому домену, или как еще можно избежать ситуации, когда парсится какой то большой сайт, а он оказывается полностью не уникальный
 

BobiK

Новичок
Регистрация
15.12.2018
Сообщения
18
Благодарностей
1
Баллы
3
Установил демо зенопостера, немного разобрался. Вбил список доменов для парсинга в файл домен, спарисл первый, но все текста в одном файле, и далее парсит какие-то левые.... И еще вопрос, каую версию зенопостера купить для вашего плагина?
 

Fantomass

Client
Регистрация
13.04.2016
Сообщения
86
Благодарностей
36
Баллы
18
У меня пара вопросов:
1. Почему, если в настройках проверки текста на уникальность настраиваю проверку без прокси, проверка не проводится, в лог выводится сообщение "Ошибка! Прокси не используются. Проект остановлен"?
2. Если ставлю, чтобы шаблон проверял статью на уникальность, работа происходит следующим образом: Ищется статья, и когда попадается первый текст, соответствующий заданным требованиям, начинается проверка его на уникальность. После проверки шаблон завершает работу, хотя по идеи он должен возвращаться к поиску следующей статьи с этого сайта и работать так, пока все тексты не будут спаршены и проверены на уникальность.
Запускал шаблон без проверки на уникальность на Зеннопостере. Работает без сбоев. Потом решил попробовать с проверкой и запустил в ProjectMaker, там он отработал так, как я описал выше.

Если я правильно понял, шаблон должен брать домен из списка, проверять на наличие его в чс, потом из архива вытаскивать все ссылки, потом искать статью, соответствующую заданным критериям, когда статья найдется, проверить ее на уникальность, записать в файл и вернуться к поиску следующей стати. Когда закончатся ссылки, работа завершается. Так же?
 

footashes

Client
Регистрация
20.02.2015
Сообщения
1 051
Благодарностей
440
Баллы
83
У меня пара вопросов:
1. Почему, если в настройках проверки текста на уникальность настраиваю проверку без прокси, проверка не проводится, в лог выводится сообщение "Ошибка! Прокси не используются. Проект остановлен"?
2. Если ставлю, чтобы шаблон проверял статью на уникальность, работа происходит следующим образом: Ищется статья, и когда попадается первый текст, соответствующий заданным требованиям, начинается проверка его на уникальность. После проверки шаблон завершает работу, хотя по идеи он должен возвращаться к поиску следующей статьи с этого сайта и работать так, пока все тексты не будут спаршены и проверены на уникальность.
Запускал шаблон без проверки на уникальность на Зеннопостере. Работает без сбоев. Потом решил попробовать с проверкой и запустил в ProjectMaker, там он отработал так, как я описал выше.

Если я правильно понял, шаблон должен брать домен из списка, проверять на наличие его в чс, потом из архива вытаскивать все ссылки, потом искать статью, соответствующую заданным критериям, когда статья найдется, проверить ее на уникальность, записать в файл и вернуться к поиску следующей стати. Когда закончатся ссылки, работа завершается. Так же?
В понедельник-вторник будет видео и новая версия, так-как альфа работает не так, как нужно. Будут изменения по проверке с пошаговым мануалам. Fantomass, по поводу потоков описано в мануале, но я покажу в видео, как и что настраивать.
 

BobiK

Новичок
Регистрация
15.12.2018
Сообщения
18
Благодарностей
1
Баллы
3
В понедельник-вторник будет видео и новая версия, так-как альфа работает не так, как нужно. Будут изменения по проверке с пошаговым мануалам. Fantomass, по поводу потоков описано в мануале, но я покажу в видео, как и что настраивать.
Я у вас на платиру купил плагин, я так понимаю там проверки на уникальность встроенной нет?
 

Fantomass

Client
Регистрация
13.04.2016
Сообщения
86
Благодарностей
36
Баллы
18
В понедельник-вторник будет видео и новая версия, так-как альфа работает не так, как нужно. Будут изменения по проверке с пошаговым мануалам. Fantomass, по поводу потоков описано в мануале, но я покажу в видео, как и что настраивать.
Сделайте пожалуйста, чтобы была возможность проверять тексты на уникальность не используя прокси. Для чего мне это? Я работаю в 1 поток на динамическом ip и хочу вместо смены прокси просто перезагружать роутер. Мне кажется это гораздо лучше, чем использовать паблик прокси.
 

Vita1980

Client
Регистрация
14.02.2017
Сообщения
12
Благодарностей
4
Баллы
3
Ребята, кто сталкивался? Публикую статью из текстового файла (спарсил из вебархива и проверил на уникальность) а она (текст) вылазит за рамки тела сайта. Я уже и пересохронял и в ворде и в текстовом файле, никаких изменений. Беру статьи другого сайта, там все норм:dy:
 

BobiK

Новичок
Регистрация
15.12.2018
Сообщения
18
Благодарностей
1
Баллы
3
На каком движке публикуешь?
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)