Bollador
Client
- Регистрация
- 24.11.2017
- Сообщения
- 351
- Реакции
- 69
- Баллы
- 28
Я давно у тебя покупал за 500 рублей. Что нового в шаблонах? Извини, я уже забыл.
Не заработало только у меня? Ошибка ] Поток №1 : Поток завершился с сообщением "Не удалось дождаться элемента >CSS> page-switch >SHADOW> >CSS> main-index >SHADOW> >CSS> index-locations >SHADOW> >CSS
tyssin
Client
- Регистрация
- 15.05.2019
- Сообщения
- 70
- Реакции
- 14
- Баллы
- 8
Lewiy
Client
- Регистрация
- 25.11.2020
- Сообщения
- 122
- Реакции
- 21
- Баллы
- 18
Андрей, привет...насчет проверки через текст.ру. Поскольку етхт сейчас сдох, а я им пользовался больше 10 лет, то решил прогнать текст.ру версия 1.6 и что-то совсем не то,что в ролике в мануале за 2018 год. Летом текст.ру перешел с тупо айпи на кол-знаков, вот стал юзать и за три часа 4 статьи.....господа, это только мне свисток не достался или акула глухая попалась?
- Регистрация
- 20.02.2015
- Сообщения
- 1 054
- Реакции
- 440
- Баллы
- 83
Обновление WebArchiveMastersV4.13 в связи с изменением верстки Вебархива:
- пофиксена небольшая ошибка, когда было совпадение регулярного выражения с данными, предоставленными Вебархивом,из-за чего парсер считал, что спарсил все ссылки и уходил на фильтрацию данных (это не так - в определенных обстоятельствах данные, которые проверялись, могли совпасть, если в ссылке присутствовало слово сравнения - например,Nexte, и в ссылке было, к примеру,http:\\kulbyar\visinexterin\appetit.htm), программа считала, что данные закончились и уходила на второй этап - фильтрация ссылок (отсеивание таких данных, как: *.jpg, replitcom и т.д). Это проявилось только несколько дней назад, так-как Вебархив изменил и усложнил парсинг.
Также хочу показать, на что способен Зеннопостер - сайт https://pibarum.ru/. Сделан полностью автоматически, обратите внимание на категорию "Тесты на знания", на сервере Зеннопостер парсит, обрабатывает и постит полностью на автомате, данные рассчитаны на 3 месяца, примерно 10 000 тестов. Попробуйте попроходить их, возможны ошибки, т.к. полный автомат, но всё это легко поправить, внести изменения в программу.
По всем вопросам, особенно тем, кто покупал WebArchiveMasters через магазин, пишите на footashes@gmail.com
Также прикрепляю частично проверенный домен (для проверки работоспособности) без чистки для проверки работоспособности:
Обновленный скрипт разошлю сегодня, после дополнительной проверки.
- пофиксена небольшая ошибка, когда было совпадение регулярного выражения с данными, предоставленными Вебархивом,из-за чего парсер считал, что спарсил все ссылки и уходил на фильтрацию данных (это не так - в определенных обстоятельствах данные, которые проверялись, могли совпасть, если в ссылке присутствовало слово сравнения - например,Nexte, и в ссылке было, к примеру,http:\\kulbyar\visinexterin\appetit.htm), программа считала, что данные закончились и уходила на второй этап - фильтрация ссылок (отсеивание таких данных, как: *.jpg, replitcom и т.д). Это проявилось только несколько дней назад, так-как Вебархив изменил и усложнил парсинг.
Также хочу показать, на что способен Зеннопостер - сайт https://pibarum.ru/. Сделан полностью автоматически, обратите внимание на категорию "Тесты на знания", на сервере Зеннопостер парсит, обрабатывает и постит полностью на автомате, данные рассчитаны на 3 месяца, примерно 10 000 тестов. Попробуйте попроходить их, возможны ошибки, т.к. полный автомат, но всё это легко поправить, внести изменения в программу.
По всем вопросам, особенно тем, кто покупал WebArchiveMasters через магазин, пишите на footashes@gmail.com
Также прикрепляю частично проверенный домен (для проверки работоспособности) без чистки для проверки работоспособности:
Обновленный скрипт разошлю сегодня, после дополнительной проверки.
Андрей, спасибо, что быстро откликнулся и исправил этот баг, а то таких доменов выходило примерно 200 на 1000 и это в день. Ждем обновление.
- Регистрация
- 20.02.2015
- Сообщения
- 1 054
- Реакции
- 440
- Баллы
- 83
Постоянно спрашивают - как начать работать, где взять домены для парсинга
Данные отправил, по вопросам пишите на footashes@gmail.com
- Есть проверка по ключевым словам, о которой мало кто знает, потому-что не читает инструкцию. Допустим, вы хотите найти женские сайты - вы можете ввести ключевые слова в выбранных вами доменах. Программа по умолчанию (можно изменить) будет брать 10 рандомных ссылок в выбранных вами доменах, искать совпадения и найденные совпадения записывать в файл "Search.txt" (все это описано в файле WebArchiveMasters.pdf, который никто не читает).
- Постоянно спрашивают про Спайдер - парсинг доменов. Принцип работы такой - берется домен определенной тематики, например, гадания. Во время парсинга текста одновременно работает BlackWindowSspider - он давно встроен в WebArchiveMasters и работает одновременно с парсингом текста - это все описано в WebArchiveMasters.pdf. Принцип работы - работа на вероятностях, что комментировать сайт о строительстве будут люди, связанные со строительством, которые оставляют свои комментарии со ссылкой на свой сайт. Сайт кулинаров будут комментировать люди, близкие к кулинарии и т.д. На этом основан парсинг дружественных доменов - на вероятностях, отличных от нуля.
Данные отправил, по вопросам пишите на footashes@gmail.com
Вложения
- Регистрация
- 20.02.2015
- Сообщения
- 1 054
- Реакции
- 440
- Баллы
- 83
Беглый показ принципа работы ВебархивМастер, чистка текста и проверка на уникальность. Так-как zennoproxy.com на профилактике, через Текст.ру я не стал проверять, так-как ему требуются IP6, вместо этого показал через Адвего, принцип одинаков. Это не руководство - для каждого шаблона есть видео и текстовая инструкция. Это показ принципа работы - сначала парсим, затем чистим, затем проверяем на уникальность.
В инструкции написано: Как работает программа - берет выборочно домен и проверяет его на ответ 200 (сайт работает). Если сайт работает, домен удаляется и берется следующий. После получения нужного домена, программа подключается к Вебархиву и запрашивает количество файлов за все годы (не по снепшотам). Если файлов нет, возвращается к выбору другого домена. Если файлы есть, программа забирает ссылки и включает фильтрацию (css, png, jpg, reply и т.д.).
А я смогу восстановить действующий, мой сайт, из веб архива ? И много он мусора цепляет ? В веб архиве, копия wordpress , только метки, тэги и коментарии.
А я смогу восстановить действующий, мой сайт, из веб архива ? И много он мусора цепляет ? В веб архиве, копия wordpress , только метки, тэги и коментарии.
- Регистрация
- 20.02.2015
- Сообщения
- 1 054
- Реакции
- 440
- Баллы
- 83
Там есть скрипт, выкачивающий копию сайта. Но смысл просто забирать текст, проверять его и использовать для себя или на продажу. В любом случае, писать нужно сюда: footashes@gmail.com. Также, кто покупал через магазин, отпишите для внесения вашего емейл в базу рассылок для обновлений.
Помогите, не парсит домен.
Текст в логах:
Начинаем проверку домена
Переходим на забор данных для парсинга
Домены в файле закончились
Проект краулер.xmlz уцспешно выполнин.
В чём может быть проблема?
Текст в логах:
Начинаем проверку домена
Переходим на забор данных для парсинга
Домены в файле закончились
Проект краулер.xmlz уцспешно выполнин.
В чём может быть проблема?
- Регистрация
- 20.02.2015
- Сообщения
- 1 054
- Реакции
- 440
- Баллы
- 83
Версия WebArchiveMastersV4.13? ZennoPoster RU 5.17.2.0?
Только что проверил, всё работает.
- Регистрация
- 20.02.2015
- Сообщения
- 1 054
- Реакции
- 440
- Баллы
- 83
WebArchiveMastersV4.13 рассчитан на массовый парсинг текста, для последующей продажи - лично я использую для размещения на Ротапост, Гогетлинкс, Миралинкс. Протокол HTTPS игнорируются, так-как практика показала, что любой анализатор уникальности покажет 0%, потому что эти данные ещё не вылетели из индекса, так-как прошло слишком мало времени. Поэтому все ссылки с этим протоколом игнорируются. В парсере несколько защит, чтобы случайно не поймать данные на https. Это сделано изначально, исходя из опыта, толку от этих данных нет.
В проверке адвего вылезло такое сообщение при прогреве профиля.
Выполнение действия HtmlElement Не найден HTML элемент, по условиям поиска
Вопрос решен))
Выполнение действия HtmlElement Не найден HTML элемент, по условиям поиска
Вопрос решен))
- Регистрация
- 20.02.2015
- Сообщения
- 1 054
- Реакции
- 440
- Баллы
- 83
Новая версия Advego.v7. Поправлено создание профилей. Использовалась версия ZennoPoster RU 5.17.2.0. Всем разослал, если что, пишите на footashes@gmail.com
Перехватил домен. Месяц прошёл, как закончилась регистрация. Восстановил статьи из вебархива. Все статьи уникальные. Может ли предыдущий владелец домена, предъявить претензию, о нарушении авторских прав ?
Astraport
Client
- Регистрация
- 01.05.2015
- Сообщения
- 5 086
- Реакции
- 4 632
- Баллы
- 113
- Регистрация
- 20.02.2015
- Сообщения
- 1 054
- Реакции
- 440
- Баллы
- 83
Я делал и не заморачивался, ничего не было. Но лучше забрать просто текст.
Нет, для этого каждую статью он должен был заверить нотариально, а это накладно и никто не делает и с учетом, что фичи Оригинальные тексты уже нет.
Другой вопрос, что месяц, домен свежий и тексты 100% с кэшем, хоть и уникальны, ПСы еще помнят.
- Регистрация
- 20.02.2015
- Сообщения
- 1 054
- Реакции
- 440
- Баллы
- 83
Очередная распродажа на всё - 2 дня за 350 рублей, в связи непонятных действий с Украиной - WebArchiveMaster - парсер Вебархива + Антиплагиат + Мануал + Парсинг емейлов с Яндекс.Дзен + Парсинг субтитров с роликов Ютуб+ Нестандартная рассылка через сервис рассылок+ Каталог Дзен-каналов (шаблон и уже спаршенные емейлы (около 9000 почт с дзен-каналов). Восстановление всего сайта из Вебархива. Полностью готовый сайт, остается только залить на сервер. Все купившие WebArchiveMaster получат его бесплатно.
Киви: 9619995137
Яндекс-Деньги: 410011187505134
В примечании введите свой емейл, он будет внесен в базу рассылок.
Киви: 9619995137
Яндекс-Деньги: 410011187505134
В примечании введите свой емейл, он будет внесен в базу рассылок.
Здравствуйте! Только зарегистрировался, заинтересовал данный софт... Как можно с вами связаться? а то в не пойму, в лс вроде нет функции чтоб вам написать...
- Регистрация
- 20.02.2015
- Сообщения
- 1 054
- Реакции
- 440
- Баллы
- 83
Цена - 500 рублей
Почта - footashes@gmail.com
Киви: 9619995137
Яндекс-Деньги: 410011187505134
В примечании введите свой емейл, он будет внесен в базу рассылок.
Ruhas
Client
- Регистрация
- 26.11.2019
- Сообщения
- 791
- Реакции
- 197
- Баллы
- 43