Шаблон по парсингу и уникализации контента со сторонних сайтов

[_HEDELKA_]

Всех приветствую на Десятом конкурсе шаблонов изначально хотел писать другую статью но планы поменялись, поэтом к вашему вниманию шаблон: парсим и уникализируем контент для публикации на Яндекс Дзен

Кому полезна статья?
1) Если ты хочешь забыть про веб версию, и перейти на POST/GET запросы
2) Научится работать с различными сайтами (дзен, уникализатор текста и так далее)

ВСТУПЛЕНИЕ​

Для данного шаблона были использованы такие сайты как:
https://www.9111.ru/ - отсюда берем статьи
https://rustxt.ru/synonymizer - делаем каждый абзац уникальным
https://dzen.ru/ - публикуем

Работа с первым сайтом|9111.ru​

Наша задача получить статьи и опубликовать их в дзен.
Первым делом настраиваем рабочее пространство (для меня так удобнее)

Переходим на сайт https://www.9111.ru/pubs/new/ (здесь 24/7 новые публикации)

Нам нужен первый запрос для парсинга опубликованных статей (предварительно регулярной исключаем парсинг статьи где есть видео)
(?<="\ href="/questions/)[\w\W]*?(?=/">) - если разобрать страницу выпарсить данные можно этой регуляркой, далее мы просто делаем запрос на получение самой статьи (содержимое)

id_questions - это ID который мы получили в первом действии

Получив полностью статью мы имеем текст картинки, нужно провести работу с ними.

Работа с сайтом https://rustxt.ru/synonymizer​

Получаем по одному абзацу, и далем его уникальным:

В их документации все расписано
На выходе мы получаем уникальный абзац, в этот момент мы начинам собирать запрос к дзен.

Здесь происходит следующее:
Полученный абзац подставляем в первый абзац дзен, получаем все абзацы стати и делаем все тоже самое с остальным текстом.

Публикация в дзен​

После полностью собранного текста, мы делаем публикацию в дзен:

Чтобы выяснит как сделать запрос на публикацию, нужно в веб версии сделать публикацию, и по окну "Трафик" отследить запрос, в дзен 4 запрос после нажатия на кнопку "Опубликовать"

Заключение​

Вот результаты:
Копия https://dzen.ru/media/id/640c20ab28c4f70490acf0ca/kakaia-ryba-samaia-poleznaia-kakaia-samaia-vrednaia-i-komu-ee-voobsce-nelzia--novosti-640c4f7c8fc5ca218ac61315
Отчет уникальности (в данном случае 0, так как эта статья уже опубликована на моем дзен аккаунте)
Ссылка с этого отчета ведет к моей же статье https://dzen.ru/a/ZAxPfI_FyiGKxhMV
Как мы можем заметить 1 источник, он не смог найти оригинальный источник, и также не смог найти подобные статьи с других ресурсов (так как на сайте 9111.ru запрещено публиковать авторский контент)

Статистики из дзен нету, так как этот шаблон был написан исключительно для конкурса! В моем профиле всего лишь 1 публикация для демонстрации

Оригинал https://www.9111.ru/questions/7777777772486576/

В входных настройках я сделал дополнение стати своими источниками, шаблон можно запустить из коробки

Подставляете сохраненный профиль
Выбираете сервис капчи (яндекс часто запрашивает, если публикации идут подряд)

Далее пишем текст. Вот как у меня в статье получилось поле которое я заполнил с верху:

И указываем ссылку, в моем случае было: ссылка https://t.me/AudioProcessingbot текст: AudioProcessingbot
В результате ссылка в тексте (не понятно почему дзен подставляет криво текст с ссылкой, но важно что там есть ссылка)



Всем спасибо за просмотр! Всем удачи на конкурсе
Также не не забудьте подписаться на обновление данной статьи, будет вторая версия данного шаблона, где контент будет уникальный.

 

[ZennoLab Team]

Приветствую! Комментарии к содержанию поста:

1) "...шаблон по краже статей и выдача за свою" Предлагаю использовать более нейтральную формулировку. Пример: "Шаблон по парсингу и уникализации контента со сторонних сайтов".
2) Заголовок поста также необходимо изменить. Пример: "Парсим и уникализируем контент для публикации на Яндекс Дзен"
3) Было бы интересно, если бы вы проверили на уникальность контент, который спарсили, а также приложили результаты к посту.
4) Также было бы интересно увидеть внутреннию статистику из Яндекс Дзен по опубликованному посту.

Последние 2 пункта носят рекомендательный характер. Первые 2 пункта просим поправить. Благодарим за понимание.

 

[_HEDELKA_]

Приветствую! Комментарии к содержанию поста:

1) "...шаблон по краже статей и выдача за свою" Предлагаю использовать более нейтральную формулировку. Пример: "Шаблон по парсингу и уникализации контента со сторонних сайтов".
2) Заголовок поста также необходимо изменить. Пример: "Парсим и уникализируем контент для публикации на Яндекс Дзен"
3) Было бы интересно, если бы вы проверили на уникальность контент, который спарсили, а также приложили результаты к посту.
4) Также было бы интересно увидеть внутреннию статистику из Яндекс Дзен по опубликованному посту.

Последние 2 пункта носят рекомендательный характер. Первые 2 пункта просим поправить. Благодарим за понимание.

1, 2, 3 поменял, что вы имеете в виду под пунктом 4? как отловить запрос к яндексу дзен?

 

[_HEDELKA_]

Приветствую! Комментарии к содержанию поста:

1) "...шаблон по краже статей и выдача за свою" Предлагаю использовать более нейтральную формулировку. Пример: "Шаблон по парсингу и уникализации контента со сторонних сайтов".
2) Заголовок поста также необходимо изменить. Пример: "Парсим и уникализируем контент для публикации на Яндекс Дзен"
3) Было бы интересно, если бы вы проверили на уникальность контент, который спарсили, а также приложили результаты к посту.
4) Также было бы интересно увидеть внутреннию статистику из Яндекс Дзен по опубликованному посту.

Последние 2 пункта носят рекомендательный характер. Первые 2 пункта просим поправить. Благодарим за понимание.

Аааа я понял, статистику из дзен)))

 

[_HEDELKA_]

Приветствую! Комментарии к содержанию поста:

1) "...шаблон по краже статей и выдача за свою" Предлагаю использовать более нейтральную формулировку. Пример: "Шаблон по парсингу и уникализации контента со сторонних сайтов".
2) Заголовок поста также необходимо изменить. Пример: "Парсим и уникализируем контент для публикации на Яндекс Дзен"
3) Было бы интересно, если бы вы проверили на уникальность контент, который спарсили, а также приложили результаты к посту.
4) Также было бы интересно увидеть внутреннию статистику из Яндекс Дзен по опубликованному посту.

Последние 2 пункта носят рекомендательный характер. Первые 2 пункта просим поправить. Благодарим за понимание.

Все я дописал, 4 пункт также расписал, там статистика 0

 

[radv]

Насколько уникальными получаются статьи?

 

[_HEDELKA_]

Насколько уникальными получаются статьи?

100%

 

[Moonwalker]

Просто в цепочку добавь еще одно действие перед публикацией на Дзен - проверка на уникальность.
Т.е., парсим, рерайтим, складываем в файлик(и), потом эти файлики проверяем на уникальность, если нормальная, складываем в работу для постов на Дзен.

 

[_HEDELKA_]

Просто в цепочку добавь еще одно действие перед публикацией на Дзен - проверка на уникальность.
Т.е., парсим, рерайтим, складываем в файлик(и), потом эти файлики проверяем на уникальность, если нормальная, складываем в работу для постов на Дзен.

А зачем? При изменении статьи данным способом она всегда будет 100% уникальная, ее не отловит даже сайт 9111.ru у них там мощная проверка стоит, я как то отрывок брал текста, он смог его найти, но статью которую мы возьмем даже с их сайта система не сможет найти, это просто получается лишняя работа шаблона

 

[Moonwalker]

Это скорее не тебе даже было, это тем, кто интересуется уникальностью. Шаб открытый, могут сами добавить, если важно.

 

[todayer]

А в дзене за такие тексты не банят? Их же читать почти невозможно)

Спойлер: Например

 

[Phoenix78]

А в дзене за такие тексты не банят? Их же читать почти невозможно)

незнаю насчет бана, но лично у меня реакция на такое, жалоба + канал в игнор.

 

[_HEDELKA_]

А в дзене за такие тексты не банят? Их же читать почти невозможно)

Спойлер: Например

Думаю кто-то все равно прочитает, это не главный шаблон, я готовлю проект где 100% уникальный текст + смысловые предложения и вообще понятный текст, если пропустят админы, но вообще разрыв будет

По поводу замены слов:
Подобные сервисы не заостряют внимание на логику текста, они просто меняют слова на аналоги, даже если это не звучит, естественно и я вижу что многое просто не совместимо, но нато это изменение текста, а не написание статьи нейронкой

 

[Astraport]

Дзен года 2 как умер для заработка. Что-то капает у авторов, но там смешные деньги.
И даже монетизация сторонними источниками типа партнерок тоже не особо меняет КПД который около 10%.

 

[Sardol]

А в дзене за такие тексты не банят? Их же читать почти невозможно)

Спойлер: Например

Может и банят, но не сразу. В дзене, последнее время, очень много такого попадается.

 

[DRIVONT]

В общем ради интереса закинул статью 1300 символов в этот синомайзер (уникализатор) проверил их антиплагиатом и вуаля уникальность 100%
Думаю что то не то) пошел на advego .com/antiplagiat/ проверил - результат уникальность ноль.

Пошел на text .ru/antiplagiat/unauthorized проверил уникальность ноль

Вернулся назад и в их антиалагиат закинул тупо скопированную новость.
Как вы думаете какой результат я получил?

В общем уникализатор на мой взгляд мягко говоря не очень (я о сервисе) шаблон не тестил просто от нечего делать чекнул уникализатор. Мб я какую то статью неправильную уникализировал

 

[todayer]

уникализатор на мой взгляд мягко говоря не очень (я о сервисе)

Конечно он не очень, но для уникализации стоило включить автозамену слов, она выключена по умолчанию.

 

[_HEDELKA_]

В общем ради интереса закинул статью 1300 символов в этот синомайзер (уникализатор) проверил их антиплагиатом и вуаля уникальность 100%
Думаю что то не то) пошел на advego .com/antiplagiat/ проверил - результат уникальность ноль.Посмотреть вложение 104618

Пошел на text .ru/antiplagiat/unauthorized проверил уникальность ноль
Посмотреть вложение 104619

Вернулся назад и в их антиалагиат закинул тупо скопированную новость.
Как вы думаете какой результат я получил?
Посмотреть вложение 104617


В общем уникализатор на мой взгляд мягко говоря не очень (я о сервисе) шаблон не тестил просто от нечего делать чекнул уникализатор. Мб я какую то статью неправильную уникализировал

Тут же главное не то что покажет любой антиплагиат, а как отреагирует Дзен, у меня статься весит до сих пор, если бы дзен нашел авторские права он бы я вно в бан закинул статью.

По сервисам да выбирал что первое попалось, ведь моя задача была передать идею, думаю если вы заинтересованы шаблоном значит имеете Zennoposter, меняйте под себя добавляйте новые версии)

 

[_HEDELKA_]

Конечно он не очень, но для уникализации стоило включить автозамену слов, она выключена по умолчанию.

По замене слов можно также попробовать прогнать по различным переводчикам тоже эффект будет, но зенка очень плохо работает с переводчиком гугл онлайн

 

[_HEDELKA_]

Кто значит как до Админа достучаться в лс пишу игнор

Приветствую! Комментарии к содержанию поста:

1) "...шаблон по краже статей и выдача за свою" Предлагаю использовать более нейтральную формулировку. Пример: "Шаблон по парсингу и уникализации контента со сторонних сайтов".
2) Заголовок поста также необходимо изменить. Пример: "Парсим и уникализируем контент для публикации на Яндекс Дзен"
3) Было бы интересно, если бы вы проверили на уникальность контент, который спарсили, а также приложили результаты к посту.
4) Также было бы интересно увидеть внутреннию статистику из Яндекс Дзен по опубликованному посту.

Последние 2 пункта носят рекомендательный характер. Первые 2 пункта просим поправить. Благодарим за понимание.

 

[ZennoLab Team]

Кто значит как до Админа достучаться в лс пишу игнор

По вопросу с API ответили.

 

[Duser]

Низкое качество текста. Куда его такой? Сейчас мало быть уникальным. Проверьте любой дор через сервис Text.ru - он будет уникальным.

 

[_HEDELKA_]

Низкое качество текста. Куда его такой? Сейчас мало быть уникальным. Проверьте любой дор через сервис Text.ru - он будет уникальным.

Как уже сказал это очень сомнительный проект, готовлю проект который самом деле уникальный, если повезет закину его в статью, если нет то как рекламу сделаю.

 

[_HEDELKA_]

Как уже сказал это очень сомнительный проект, готовлю проект который самом деле уникальный, если повезет закину его в статью, если нет то как рекламу сделаю.

А нет посмотрел до 19 марта открыта подача статей, значит ждите тему по заработку в разделе реклама)

 

[Duser]

Возможно ли понизить версию до 7.7.1.0? Я работаю с текстами может пригодится. Можно в личку.

 

[_HEDELKA_]

Возможно ли понизить версию до 7.7.1.0? Я работаю с текстами может пригодится. Можно в личку.

 

[Alex.A]

Хорошая статья. Реализация с помощью ZP классического решения, которое уже давно практикуется в буржунете... Голосую.

 

[_HEDELKA_]

Хорошая статья. Реализация с помощью ZP классического решения, которое уже давно практикуется в буржунете... Голосую.

Спасибо, активно работаю над проектом по аналогичной но уже 100% для заработка темой, думаю на этой недели выпуск будет (в разделе реклама)

 

[Lenok]

Интересный шаблончик, а публикует вместе с картинками?

 

[_HEDELKA_]

Интересный шаблончик, а публикует вместе с картинками?

Да конечно, копируется все содержимое статьи и расставляется в таком же порядке