Шаблон по парсингу и уникализации контента со сторонних сайтов

  • Автор темы Автор темы _HEDELKA_
  • Дата начала Дата начала

_HEDELKA_

Client
Регистрация
20.02.2022
Сообщения
648
Реакции
172
Баллы
43
Всех приветствую на Десятом конкурсе шаблонов изначально хотел писать другую статью но планы поменялись, поэтом к вашему вниманию шаблон: парсим и уникализируем контент для публикации на Яндекс Дзен

Кому полезна статья?
1) Если ты хочешь забыть про веб версию, и перейти на POST/GET запросы
2) Научится работать с различными сайтами (дзен, уникализатор текста и так далее)

ВСТУПЛЕНИЕ
Для данного шаблона были использованы такие сайты как:
https://www.9111.ru/ - отсюда берем статьи
https://rustxt.ru/synonymizer - делаем каждый абзац уникальным
https://dzen.ru/ - публикуем

Работа с первым сайтом|9111.ru
Наша задача получить статьи и опубликовать их в дзен.
Первым делом настраиваем рабочее пространство (для меня так удобнее)
104449


Переходим на сайт https://www.9111.ru/pubs/new/ (здесь 24/7 новые публикации)
104450

Нам нужен первый запрос для парсинга опубликованных статей (предварительно регулярной исключаем парсинг статьи где есть видео)
(?<="\ href="/questions/)[\w\W]*?(?=/">) - если разобрать страницу выпарсить данные можно этой регуляркой, далее мы просто делаем запрос на получение самой статьи (содержимое)

104451


id_questions - это ID который мы получили в первом действии

Получив полностью статью мы имеем текст картинки, нужно провести работу с ними.

Работа с сайтом https://rustxt.ru/synonymizer
Получаем по одному абзацу, и далем его уникальным:
104452
В их документации все расписано
На выходе мы получаем уникальный абзац, в этот момент мы начинам собирать запрос к дзен.
104453

Здесь происходит следующее:
Полученный абзац подставляем в первый абзац дзен, получаем все абзацы стати и делаем все тоже самое с остальным текстом.

Публикация в дзен
После полностью собранного текста, мы делаем публикацию в дзен:
104454


Чтобы выяснит как сделать запрос на публикацию, нужно в веб версии сделать публикацию, и по окну "Трафик" отследить запрос, в дзен 4 запрос после нажатия на кнопку "Опубликовать"

Заключение
Вот результаты:
Копия https://dzen.ru/media/id/640c20ab28...bsce-nelzia--novosti-640c4f7c8fc5ca218ac61315
Отчет уникальности (в данном случае 0, так как эта статья уже опубликована на моем дзен аккаунте)
Ссылка с этого отчета ведет к моей же статье https://dzen.ru/a/ZAxPfI_FyiGKxhMV
Как мы можем заметить 1 источник, он не смог найти оригинальный источник, и также не смог найти подобные статьи с других ресурсов (так как на сайте 9111.ru запрещено публиковать авторский контент)
104479


Статистики из дзен нету, так как этот шаблон был написан исключительно для конкурса! В моем профиле всего лишь 1 публикация для демонстрации

Оригинал https://www.9111.ru/questions/7777777772486576/

В входных настройках я сделал дополнение стати своими источниками, шаблон можно запустить из коробки
104455

Подставляете сохраненный профиль
Выбираете сервис капчи (яндекс часто запрашивает, если публикации идут подряд)

Далее пишем текст. Вот как у меня в статье получилось поле которое я заполнил с верху:
104456

И указываем ссылку, в моем случае было: ссылка https://t.me/AudioProcessingbot текст: AudioProcessingbot
В результате ссылка в тексте (не понятно почему дзен подставляет криво текст с ссылкой, но важно что там есть ссылка)



Всем спасибо за просмотр! Всем удачи на конкурсе
Также не не забудьте подписаться на обновление данной статьи, будет вторая версия данного шаблона, где контент будет уникальный.
 
Номер конкурса шаблонов
  1. Десятый конкурс шаблонов

Вложения

Последнее редактирование:
Приветствую! Комментарии к содержанию поста:

1) "...шаблон по краже статей и выдача за свою" Предлагаю использовать более нейтральную формулировку. Пример: "Шаблон по парсингу и уникализации контента со сторонних сайтов".
2) Заголовок поста также необходимо изменить. Пример: "Парсим и уникализируем контент для публикации на Яндекс Дзен"
3) Было бы интересно, если бы вы проверили на уникальность контент, который спарсили, а также приложили результаты к посту.
4) Также было бы интересно увидеть внутреннию статистику из Яндекс Дзен по опубликованному посту.

Последние 2 пункта носят рекомендательный характер. Первые 2 пункта просим поправить. Благодарим за понимание.
 
  • Спасибо
Реакции: kwyura и djaga
Приветствую! Комментарии к содержанию поста:

1) "...шаблон по краже статей и выдача за свою" Предлагаю использовать более нейтральную формулировку. Пример: "Шаблон по парсингу и уникализации контента со сторонних сайтов".
2) Заголовок поста также необходимо изменить. Пример: "Парсим и уникализируем контент для публикации на Яндекс Дзен"
3) Было бы интересно, если бы вы проверили на уникальность контент, который спарсили, а также приложили результаты к посту.
4) Также было бы интересно увидеть внутреннию статистику из Яндекс Дзен по опубликованному посту.

Последние 2 пункта носят рекомендательный характер. Первые 2 пункта просим поправить. Благодарим за понимание.
1, 2, 3 поменял, что вы имеете в виду под пунктом 4? как отловить запрос к яндексу дзен?
 
Приветствую! Комментарии к содержанию поста:

1) "...шаблон по краже статей и выдача за свою" Предлагаю использовать более нейтральную формулировку. Пример: "Шаблон по парсингу и уникализации контента со сторонних сайтов".
2) Заголовок поста также необходимо изменить. Пример: "Парсим и уникализируем контент для публикации на Яндекс Дзен"
3) Было бы интересно, если бы вы проверили на уникальность контент, который спарсили, а также приложили результаты к посту.
4) Также было бы интересно увидеть внутреннию статистику из Яндекс Дзен по опубликованному посту.

Последние 2 пункта носят рекомендательный характер. Первые 2 пункта просим поправить. Благодарим за понимание.
Аааа я понял, статистику из дзен)))
 
Приветствую! Комментарии к содержанию поста:

1) "...шаблон по краже статей и выдача за свою" Предлагаю использовать более нейтральную формулировку. Пример: "Шаблон по парсингу и уникализации контента со сторонних сайтов".
2) Заголовок поста также необходимо изменить. Пример: "Парсим и уникализируем контент для публикации на Яндекс Дзен"
3) Было бы интересно, если бы вы проверили на уникальность контент, который спарсили, а также приложили результаты к посту.
4) Также было бы интересно увидеть внутреннию статистику из Яндекс Дзен по опубликованному посту.

Последние 2 пункта носят рекомендательный характер. Первые 2 пункта просим поправить. Благодарим за понимание.
Все я дописал, 4 пункт также расписал, там статистика 0
 
  • Спасибо
Реакции: ZennoLab Team
:ay: Насколько уникальными получаются статьи?
 
Просто в цепочку добавь еще одно действие перед публикацией на Дзен - проверка на уникальность.
Т.е., парсим, рерайтим, складываем в файлик(и), потом эти файлики проверяем на уникальность, если нормальная, складываем в работу для постов на Дзен.
 
Просто в цепочку добавь еще одно действие перед публикацией на Дзен - проверка на уникальность.
Т.е., парсим, рерайтим, складываем в файлик(и), потом эти файлики проверяем на уникальность, если нормальная, складываем в работу для постов на Дзен.
А зачем? При изменении статьи данным способом она всегда будет 100% уникальная, ее не отловит даже сайт 9111.ru у них там мощная проверка стоит, я как то отрывок брал текста, он смог его найти, но статью которую мы возьмем даже с их сайта система не сможет найти, это просто получается лишняя работа шаблона
 
Это скорее не тебе даже было, это тем, кто интересуется уникальностью. Шаб открытый, могут сами добавить, если важно.
 
  • Спасибо
Реакции: seodamage
А в дзене за такие тексты не банят? Их же читать почти невозможно)
chrome_rzjHwpoIoC.jpg
Думаю кто-то все равно прочитает, это не главный шаблон, я готовлю проект где 100% уникальный текст + смысловые предложения и вообще понятный текст, если пропустят админы, но вообще разрыв будет

По поводу замены слов:
Подобные сервисы не заостряют внимание на логику текста, они просто меняют слова на аналоги, даже если это не звучит, естественно и я вижу что многое просто не совместимо, но нато это изменение текста, а не написание статьи нейронкой
 
Дзен года 2 как умер для заработка. Что-то капает у авторов, но там смешные деньги.
И даже монетизация сторонними источниками типа партнерок тоже не особо меняет КПД который около 10%.
 
  • Спасибо
Реакции: radv, DRIVONT и todayer
А в дзене за такие тексты не банят? Их же читать почти невозможно)
chrome_rzjHwpoIoC.jpg
Может и банят, но не сразу. В дзене, последнее время, очень много такого попадается.
 
  • Спасибо
Реакции: todayer
В общем ради интереса закинул статью 1300 символов в этот синомайзер (уникализатор) проверил их антиплагиатом и вуаля уникальность 100%
Думаю что то не то) пошел на advego .com/antiplagiat/ проверил - результат уникальность ноль.
104618


Пошел на text .ru/antiplagiat/unauthorized проверил уникальность ноль
104619


Вернулся назад и в их антиалагиат закинул тупо скопированную новость.
Как вы думаете какой результат я получил?
104617



В общем уникализатор на мой взгляд мягко говоря не очень (я о сервисе) шаблон не тестил просто от нечего делать чекнул уникализатор. Мб я какую то статью неправильную уникализировал :ca:
 
Последнее редактирование:
уникализатор на мой взгляд мягко говоря не очень (я о сервисе)
Конечно он не очень, но для уникализации стоило включить автозамену слов, она выключена по умолчанию.
 
В общем ради интереса закинул статью 1300 символов в этот синомайзер (уникализатор) проверил их антиплагиатом и вуаля уникальность 100%
Думаю что то не то) пошел на advego .com/antiplagiat/ проверил - результат уникальность ноль.Посмотреть вложение 104618

Пошел на text .ru/antiplagiat/unauthorized проверил уникальность ноль
Посмотреть вложение 104619

Вернулся назад и в их антиалагиат закинул тупо скопированную новость.
Как вы думаете какой результат я получил?
Посмотреть вложение 104617


В общем уникализатор на мой взгляд мягко говоря не очень (я о сервисе) шаблон не тестил просто от нечего делать чекнул уникализатор. Мб я какую то статью неправильную уникализировал :ca:
Тут же главное не то что покажет любой антиплагиат, а как отреагирует Дзен, у меня статься весит до сих пор, если бы дзен нашел авторские права он бы я вно в бан закинул статью.

По сервисам да выбирал что первое попалось, ведь моя задача была передать идею, думаю если вы заинтересованы шаблоном значит имеете Zennoposter, меняйте под себя добавляйте новые версии)
 
Конечно он не очень, но для уникализации стоило включить автозамену слов, она выключена по умолчанию.
По замене слов можно также попробовать прогнать по различным переводчикам тоже эффект будет, но зенка очень плохо работает с переводчиком гугл онлайн
 
  • Спасибо
Реакции: todayer
Кто значит как до Админа достучаться в лс пишу игнор :dl:
Приветствую! Комментарии к содержанию поста:

1) "...шаблон по краже статей и выдача за свою" Предлагаю использовать более нейтральную формулировку. Пример: "Шаблон по парсингу и уникализации контента со сторонних сайтов".
2) Заголовок поста также необходимо изменить. Пример: "Парсим и уникализируем контент для публикации на Яндекс Дзен"
3) Было бы интересно, если бы вы проверили на уникальность контент, который спарсили, а также приложили результаты к посту.
4) Также было бы интересно увидеть внутреннию статистику из Яндекс Дзен по опубликованному посту.

Последние 2 пункта носят рекомендательный характер. Первые 2 пункта просим поправить. Благодарим за понимание.
 
Низкое качество текста. Куда его такой? Сейчас мало быть уникальным. Проверьте любой дор через сервис Text.ru - он будет уникальным.
 
Низкое качество текста. Куда его такой? Сейчас мало быть уникальным. Проверьте любой дор через сервис Text.ru - он будет уникальным.
Как уже сказал это очень сомнительный проект, готовлю проект который самом деле уникальный, если повезет закину его в статью, если нет то как рекламу сделаю.
 
Как уже сказал это очень сомнительный проект, готовлю проект который самом деле уникальный, если повезет закину его в статью, если нет то как рекламу сделаю.
А нет посмотрел до 19 марта открыта подача статей, значит ждите тему по заработку в разделе реклама)
 
  • Спасибо
Реакции: Mavrikman
Возможно ли понизить версию до 7.7.1.0? Я работаю с текстами может пригодится. Можно в личку.
 

Вложения

  • Спасибо
Реакции: Duser
Хорошая статья. Реализация с помощью ZP классического решения, которое уже давно практикуется в буржунете... Голосую.
 
  • Спасибо
Реакции: _HEDELKA_
Хорошая статья. Реализация с помощью ZP классического решения, которое уже давно практикуется в буржунете... Голосую.
Спасибо, активно работаю над проектом по аналогичной но уже 100% для заработка темой, думаю на этой недели выпуск будет (в разделе реклама)
 
Интересный шаблончик, а публикует вместе с картинками?
 

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)