Результаты поиска

Можно глянуть ссылку на такое чудо?

Если вы считаете, что пропускается много дропов, вы можете отключить проверку доменов в проджектмейкере, но учтите - будет много заведомо неуникальных текстов:

Просили сделать видео урок по использованию парсера Вебархива.

Да, я понял, хотелось бы услышать автора насчет нейросетей текста. Это прорыв в технологиях, можно в личку.

Я так понимаю, что ни автор, ни покупатели доргена не понимают, как работают поисковые системы, возьмем ключевые - Яндекс и Гугл. Они полностью противоположны - под Яндекс одни доры, под Гугл другие, как правило, полностью противоположные. Совсем недавно у Гугла было уязвимое место - он не...

Хочу написать насчет Black Widow Spider. Эта программа не предназначена для того, чтобы бросить в неё сотню доменов и поставить на поиск. Нужно знать, где копать. Почти все зависит от сайта-донора. Сайт должен быть старый, со старыми комментариями, тогда нахождение дропов резко увеличивается...

Интерес к дорвеям (легкой наживе) не утихает. Но нужно знать, что сейчас в этом деле весьма не просто. Как сказал один умный человек, примерная цитата - сейчас делать дорвеи - это не просто сделал и лежишь на Канарах, а чувство, что работаешь на второй работе где-то в шахте. Если решили работать...

Нами было принято реализовывать данный функционал именно в (другой софт)-е, вопреки изначальным планам.

Нет, просто новый продукт должен взять свою долю на рынке и это логично. Им же нужно шагать в ногу со временем.

Отправлено Вчера, 20:27 Они уже все переиграли.

Небольшой F.A.Q. по данному модулю: 1. Будет ли модуль включён в (другой софт), или только в (другой софт)? Нами было принято реализовывать данный функционал именно в (другой софт)-е, вопреки изначальным планам: именно в (другой софт)-е предусмотрены все возможности для приёма капч от стороннего софта, поэтому такой подход...

Через пару дней открываю сервер распознавания текстовых капч на базе (другой софт) Ultra (Google Recaptcha2 через несколько недель). Безлимитное распознавание более 4600+ видов капч. Поддерживаемые типы изображений перечислены в данном списке: https://yadi.sk/d/-QKQsZ933MWy9L Программа практически...

Написал в ЛС.

Для работы Black Widow Spider нужен мощный компьютер, так-как программе нужно обработать десятки тысяч ссылок только одного сайта и, главное, правильные сайты для поиска дропов - сайты нужны старые, с комментариями не менее 3-4 лет, тогда вероятность нахождения очень сильно повышается. Во время...

Разослал всем.

Black Widow Spider - что нового? 1. Configuration.ini убран. Теперь карта сайта собирается автоматически 2. Шаблон работает из любой категории и с любого диска Шаблон предназначен для сбора ссылок из комментариев. Пишите 5-7 сайтов и программа проходится по всем страницам в поисках брошенных...

Напишу из своего опыта, почему лучше парсить текст, а не готовый сайт со скриптами, фото, css и т.д, хотя, казалось бы - получить готовый сайт, забросить его на хостинг и получать профит, потом спарсить ещё десять и получать в десять раз больше профита. Очень жаль, но будет совсем не так. 1...

Ок, пишите на почту: footashes(собака)gmail.com

Написал в личку.

full-text-rss играет роль бесшаблонного парсера. Скопируйте full-text-rss из папки в директорию Open Server, у меня такой путь - c:\server\OpenServer\domains\, перезапустите Open Server и в своем браузере введите: http://full-text-rss/. Если все правильно, отобразится окно с полями. В файле...

Можете здесь посмотреть, там есть шаблон использования прокси из своего файла - http://zennolab.com/discussion/threads/webarchivemaster-parser-vebarxiva.40540/page-3

Да, открытый.

Сделал пример для проверки текста на уникальность через text.ru, пригодится тем, кто хочет проверять уникальность текста не в промышленных масштабах. Урок показан на примере парсинга текста с помощью WebArchiveMasters. Основной принцип - заход на text.ru через свой список прокси, который...

Паук Black Widow Spider проходит тестирование, о багах прошу писать в личку.

Это означает, что домен возможно не рабочий и карта сайта не может быть создана. На сбор доменов это не должно влиять. Заархивируйте и пришлите всю папку.

Вы можете установить в директорию c:\bot\ParserComments, а я пока все просмотрю? Карта сайта собирает данные именно по этому пути.

Столько не нужно. Хватит и десяти. Нужны не гостевые, а комментарии, содержащие ссылку в имени - для примера: http://klyshko.ru/chugunnye-radiatory/#comment-108241. Чем больше на сайтах комментариев, тем выше вероятность, что на них есть брошенные домены. Программа должна пройти по страницам...

Для вашего удобства вы можете купить через Primearea.

WebArchiveMasters Обновление шаблона, были небольшие проблемы с GET запросом, добавлен дублирующий с проверкой 502 ошибки и 301 редиректа с http на htpps. Ранее GET запрос не видел, что сайт может редиректить на htpps - и мог начать скачивать изначально неуникальный текст. И еще пара мелких...

Для этого есть скрипт на Гитхабе- https://github.com/hartator/wayback-machine-downloader. Работает на Руби и позволяет скачивать сайт полностью со всей структурой. Именно эта программа является основанием создания WebArchiveMasters, так-как практика показала, что скачивание сайта и перевод на...

Всем отправил. Сейчас идет работа над пауком и устранение мелких дефектов парсера Вебархива.

Недавно продал один сайт на Телдери, полностью на текстах из Вебархива. Сайт был принят во все биржи, начиная от Ротапост и заканчивая ГГЛ, принят в РСЯ, Гнездо и постоянно писали прямые рекламодатели. Сейчас делают миллиарды сайтов и статейникам сейчас особенно тяжело. Нужно делать все...

В следующей версии Black Widow Spider будет использоваться автоматический сбор карты сайта с задержкой. Сейчас эти данные может менять пользователь, а это не нужно, вероятность поиска дропов падает пропорционально. Также будет оптимизирован WebArchiveMasters.

Всем разослал на тестирование.

Спайдер сбора ссылок комментариев для создания своей тематической базы дропов под названием Black Widow Spider. Сбор своей базы дропов по своей тематике. Существует обмен комментариями сайтов по своей тематике, например, на сайте с рецептами комментируют люди, имеющие близкую тематику и...

Всем разослал. Уникального текста просто завались, вот для примера первые попавшиеся домены: На английском Вот на русском Вот примерная структура текстов, далеко не у всех такая, часто по 5-6 текстов; здесь весь смысл в массовой проверке нескольких сотен сразу, по одному проверять ...это...

Добавлен файл конфигурации Config.сfg. Это главная настройка отвечает за минимальную границу текста в символах. По умолчанию стоит 300 символов, программа проверяет страницу и берет количество символов, если их меньше 300, то берется следующая страница. Чем ниже граница парсинга, тем больше...

Завтра всем разошлю. Сейчас идет тестирование и переработка под новую логику.

Кто хочет купить шаблон, вот реквизиты: Вебмани: R282711380496 Яндекс-Деньги: 410011187505134 В примечании напишите свой емейл, на него будет выслан проект. Цена 500 рублей

Да, парсит. Но, разумеется, нужны иностранные дропы.

Это просто проверочный тест из очень известного сайта, данные есть в Вебархиве, но сам сайт работает. Проверка работоспособности парсера.

Нда, искал сложнейшие решения с помощью ИИ и нейронных сетей, а всё оказалось на удивление примитивным, спасибо Astraport, что подтолкнул в правильном направлении. Теперь программа работает со всеми языками, включая английский. Если текст в принципе можно спарсить, то программа его спарсит...

Кто хочет почитать про бесшаблонный парсинг и думает, что это просто - велкам: https://www.nulled.cc/threads/221901/

Если бы все было так просто... Всем разослал обновленные шаблоны.

Тема перспективная - использование чужого труда в своих целях. Доработка будет в течении месяца. Но работать нужно - так что пока так.

Абсолютно все английские слова удаляются, так-как весь HTML основан на английских словах. Это не полноценный HTML DOM, там все работает по совсем другим принципам. Сейчас ведется разработка через DOM, а не регулярки. Если это получится, это будет резкий рывок вперед, но готового решения, пока к...

Да, и ещё - тестировал разработку нового типа дорвеев - http://cheerfulness.ru/, но до конца не довел, так-как потерял интерес. Хотел размножить текст по каждой рубрике с ключами, сделал половину и занялся другими делами. Просто выбросить жалко (хотел с ним участвовать в конкурсе). Сайт сделан...

Обновление парсера Вебархива WebArchiveMasters. Пофиксены следующие ошибки: 1. При скоростном парсинге возникала ошибка ResourceDownloader.GetResult. Добавлен блок таймаута на 40 секунд. При проверке больше такой ошибки не возникало. 2. Во многих случаях не срабатывала проверка на количество...

Практически готов спайдер сбора ссылок комментариев для создания своей тематической базы дропов под названием Black Widow Spider. Для чего это нужно - смотрите выше, скоро подготовлю видео о работе паука. Эта программа идет в связке с WebArchiveMasters - спайдер собирает тематические дропы, а...

Обновлен WebArchiveMasters. Немного переделана логика - ранее для проверки на присутствие текста требовался полный цикл, даже если его там нет, теперь логика вынесена в начало, что позволило увеличить скорость парсинга. Также пофиксены мелкие детали. Программа скачивает любой текст, пока кроме...