Чекер уникальности текста на запросах (Text.Ru)

Nord

Nord

Client
Регистрация
22.03.2012
Сообщения
2 432
Реакции
1 494
Баллы
113
Привет, комрады.
В этот раз не успел подготовить серьезную статью, будет на следующем конкурсе :az:

Решил поделиться шаблоном, который в свое время очень пригодился мне, свои функции выполняет и сейчас на 100%.

Вопрос проверки уникальности текстов многократно поднимался на форуме, поэтому, думаю, что шаб будет полезен.

Сам процесс проверки уникальности состоит из двух шагов:
1. Регистрируем акк на сервисе текст ру( без подтверждения по почте :D ) и получаем апи кей для дальнейших проверок.
2. Собственно сами проверки уникальности используя апи кей из пункта 1.

Регистрация аккаунта

Reger.png


В принципе, тут все элементарно:
1. Делаем запрос на страницу регистрации.
2. Получаем куки.
3. Отправляем Post запросом наши "данные" для реги.
4. "Переходим" на страницу проверки API и парсим кей.
5. Далее 3 варианта - ключа не совсем, он равен 0, он равен 15 000. Вот последний нам и нужен, сохраняем его в файлик для дальнейшей работы.

Вот что сам Text.Ru говорит:
firefox_2018-09-23_11-17-42.png

То есть получая кей на 15000 мы можем чекнуть текст на 15к символов.

API_Text.Ru.xmlz


Проверка уникальности текста

Checker.png


Тут тоже ничего сложного:
1. Получаем список файлов для проверки из директории {-Project.Directory-}\ToCheck
2. Подготавливаем папки для сохранения результатов ( создаем папки \Checked\50_80 и тд)
3. Берем ключ из файла, чекам еще раз его лимиты.
4. Читаем наш файл для проверки, парсим его имя.
5. Кодируем текст для его отправки на проверку Post запросом, получаем UID проверки.
6. Делаем запросы на получение результатов проверки в цикле используя UID из прошлого шага. Так как в очереди обычно от 1 до 50 текстов - прийдется погулять на этом шаге в цикле определенное время.
7. Когда, наконец, мы получаем позитивный ответ от сервиса - парсим из ответа уникальность текста, округляем, и проходим во время сохранения результатов через несколько фильтров - шаб раскидывает тексты по папкам в зависимости от уникальности - менее 50%, 50-80%, 80-99% и 100%.

Checker_Text.Ru.xmlz

Нюансы работы.
Я использовал прокси из автопоиска проксичекера. За сукти работы в 3-5 потоков получал порядка 200-300 ключей, что = 3-4,5 млн проверенных символов. Покупные прокси не использовал, но там результат получше - практически с каждого IP можно получить кей. С автопоиска - 1 кей на 10-100 IP.
На 1 IP можно получить не больше одного ключа.
Первый шаб можно запустить на перманентное выполнение — пусть нагуливает ключи постоянно, они пригодятся ( та и вроде даже спустя несколько месяцев они работают), а второй - уже по мере нужды.
 
Номер конкурса шаблонов
  1. Второй конкурс шаблонов
Уровень сложности
Средний
Категория
  1. Чекер

Вложения

  • Спасибо
Реакции: Сибиряк, Manfred, one и 28 других
Вот это годная вещь.
 
  • Спасибо
Реакции: Nord
Отдал голос Вам. Успехов!
 
  • Спасибо
Реакции: Nord
Шикарное решение, очень похоже на то что я искал! Добавить бы обработку собранного текста через сервисы\скрипты уникализации, а уж потом и на проверку уникальности. Есть чем парсить, есть чем проверять уникальность. Осталось создать\найти решение с автопостингом на blogger. От меня - голос(если получится проголосовать новичку, после покупки по идее должно получиться) и покупка по рефке (ZPlite+CM2) ;-)
 
Последнее редактирование:
  • Спасибо
Реакции: Nord
:az:Однозначно отдам голос вам, как только Модерация рассмотрит заявку на вручение статуса клиент.
Вчера купил по вашей рефке ZP pro + чекер)

Шаблон просто бомба, особенно с реализацией первой части, интересно, а админы текст ру наверное же палят это, какая то реакция может быть от них?:bl:
 
  • Спасибо
Реакции: Nord и Buch
Что-то не заработал :(

d3c04291650c.png

d3c04291650c.png

Файлики в папках не создаёт

ADD:
в переменную Post_Rezult кладёт это (может в этом прична...):
<html>
<head><title>502 Bad Gateway</title></head>
<body bgcolor="white">
<center><h1>502 Bad Gateway</h1></center>
<hr><center>nginx/1.12.2</center>
</body>
</html>
 
Последнее редактирование:
Nord написал(а):
Проверка уникальности текста
Нажмите для раскрытия...
Привет! Спасибо за шаб, здорово. Как в многопотоке работать будет? Я пока больше двух не рискую, или до 10 можно? Как сервис реагирует?
 
Отличная статья, спасибо! Шабы и правда, даже сейчас рабочие. А главное, это то, что нужно, ибо я уже собрался свой такой шаблон писать, а тут есть уже готовый. Под себя просто переделаю и в путь! Спасибо ещё раз))
 
  • Спасибо
Реакции: Buch
Спасибо, пользовался Вашими шаблонами некоторое время. Жаль пару дней назад что-то изменилось и теперь добыча ключей не работает. Чего-то админы подкрутили.
 
salexua написал(а):
Спасибо, пользовался Вашими шаблонами некоторое время. Жаль пару дней назад что-то изменилось и теперь добыча ключей не работает. Чего-то админы подкрутили.
Нажмите для раскрытия...
Это точно, теперь почти всегда пишет "нет ключа"
 
Сломался. Жалко. В последние дни ещё начал все тексты в один файл писать
 
one написал(а):
И нужен наверное тот кто починит?
Нажмите для раскрытия...
И это я:D
Всё ок там, просто вёрстка страницы сменилась. Откройте шаблон и в экшене "Парсим API key" замените текущую регулярку на новую: (?<=key":").*?(?=",)
И шаб сразу заработает, как прежде.
 
  • Спасибо
Реакции: Fantomass
подскажите а как прокси из проксичекера перенаправить в API_Text.Ru, а то у меня пишет что лимит равен 0 и так по кругу
 
ребята подскажите как запустить шаблон правильно, а то у меня пишет что лимит равен 0 и так по кругу, и не проверяет
 
Star777 написал(а):
ребята подскажите как запустить шаблон правильно, а то у меня пишет что лимит равен 0 и так по кругу, и не проверяет
Нажмите для раскрытия...
Уже сервис не выдаёт такие лимиты (15000 символов)
 
Шаблон именно проверки текстов работает у кого-нибудь?
 
Войдите или зарегистрируйтесь для ответа.

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)

Сверху Снизу