Многопоточная проверка дропдоменов

[Сибиряк]

Всем привет!
Не так давно возникла необходимость в проверке большого числа доменов. Сделал многопоточный шаблон для проверки дропов.
Шаблон довольно прост.

Что проверяем

• Whois – занят\свободен, даты регистрации и освобождения.
• Индексы в Яндекс и Гугл
• Упоминания домена в Яндекс и Гугл
• Проверка ИКС
• Отбратных ссылок в Linkpad
• Web Archive –первая дата
• Блокировка РКН

Изначально шаблон был без API, но недавно прикрутил.

По API можно проверить
Whois - api.whois.vu
Индекс\упоминания в Яндекс - xml.yandex.ru
Индекс\упоминания в Гугл - xmlriver.com
РКН блокировка - api.antizapret.info
Соответственно сервисы должны быть оплачены или иметь лимиты для запросов.

Проверка Linkpad, Вебархива, ИКС производится GET запросами.
И для них используются мобильные прокси + для api.antizapret.info.
Синтаксис крокси
socks5://логин:пароль@ип:порт

Входящие настройки

Первая вкладка настроек

“Проверять только Whois (свободен\занят)” – проверяем только на свободен\занят. Остальные параметры не проверяются.
Если галка не стоит проверяем все ниже приведенные параметры:

• Индекс в Яндекс
• Индекс в Гугл
• Упоминания в Яндекс
• Упоминания в Гугл
• Проверка ИКС
• Ссылки Linkpad
• Проверка WebArchive
• Проверка в РКН

По желанию можно снять любую галку и не проверять параметр.

Вторая вкладка настроек

Здесь указываем логины и пароль и выбираем сервися для проверок.
Тут я оставил на выбор изначальный вариант на GET-ах + новый вариант на API.

Третья вкладка настроек

Указываем где брать файл с прокси и домены для проверки.

Работа шаблона

Последовательно проходит по всем сервисам в каждом потоке.
Если домен занят то параметры не проверяются.
Если домен свободен то проверка идет в зависимости от выбранных параметров.
Данные проверки записываются в таблицу.
Если была ошибка выполнения шаблона, то не проверенный домен записывается в конец списка доменов.

Файлы и папки

IN – файл с доменами и список рефсайтов.
Рефки в основном используются в старом варианте проверки доменов.

OUT – выгружается готовые данные в xlsx-файлы с датой в названии.
“Готовые_данные_14_09_2019.xlsx”
Прокси – лежит файл с прокси.

Данные для заполнения логинов паролей

xmlriver.com
https://xmlriver.com/queries/

xml.yandex.ru
https://xml.yandex.ru/settings/

З.Ы.
Шаблон не идеален и это надо понимать
В выгрузке добавляются с каждым доменом еще и строка названий столбцов. Заморачиваться с настройкой этого в многопотоке не хотелось.
Отфильтровать в Excel не проблема.

 

[Сибиряк]

Ответственные товарищи проинформировали об отсутствии наличия файла Useragents.txt в папке IN
Файл в аттече

 

[vesb]

Спасибо за шаблон. А не знаете какие лимиты у этого api: api.whois.vu?

 

[HWMD]

Поделитесь ответом: почему все встраивают использование прокси в шаблоны? Почему никто не использует проксичекер в зеннопостере?

 

[Valandersi]

Поделитесь ответом: почему все встраивают использование прокси в шаблоны? Почему никто не использует проксичекер в зеннопостере?

Потому что прокси из проксичекера это паблик, а юзают приват которые работают, на них меньше капчи и больше скорость

 

[HWMD]

Потому что прокси из проксичекера это паблик, а юзают приват которые работают, на них меньше капчи и больше скорость

А загружать прокси в проксичекер - нельзя/опасно или что-то еще?

 

[Valandersi]

А загружать прокси в проксичекер - нельзя/опасно или что-то еще?

Я его не использую, можете посмотреть вики и почитать на сайте, если что то не понятно напишите в саппорт вам помогут

 

[Сибиряк]

Спасибо за шаблон. А не знаете какие лимиты у этого api: api.whois.vu?

Не знаю. Но вроде не упирался в ограничение.

 

[Сибиряк]

Если у кого не проверяет блокировку РКН.
Последнее время падает ресурс antizapret.info

 

[Сибиряк]

Обновил немного шаблон.
Добавил проверку на Adult-фильтр от Яндекса.
В отчете это выглядит так:

Спойлер: Скрин

ОК - нет фильтра
Adult - есть фильтр

 

[alexandr.ogorodnik]

Возможно я что то сделал не так, но у меня, почему то выдает пустую таблицу, можете подсказать в чем может быть проблема ?

Microsoft Excel (Сбой активации продукта) - Готовые_данные_02_06_2020 (147 kb) закачан 2 июня 2020 г. Joxi

сделан при помощи Joxi.net

joxi.ru

 

[Сибиряк]

Разобрались

 

[daymos]

А загружать прокси в проксичекер - нельзя/опасно или что-то еще?

В шаблоне можно сделать смену на лету, если прокся упала.
Там же можно сделать блокировку исполнения, если вдруг прокся не подключена.
Да и привычнее что все в одном месте. Прокси чекается непосредственно перед использованием, а из проксичекера она не известно или жива еще.

 

[Ditonator]

Немного переделал шаблон, юзаю в один поток, без прокси, прямо из ПМ, за пару суток проверяю выборку из 2-3000 доменов. Для одного проекта подобрал уже 3 домена с общим количеством беков около 3000. Сейчас подбираю для другого проекта. Автору Респект!!!

 

[Seoandrii]

Отлично, нагуглил то, что нужно. Спасибо, сейчас буду проверять работоспособность шаба!

 

[Ditonator]

Дополню тему - подбирал уже для 5-ти проектов дропы, в итоге 3 домена (по разным тематикам) куплены и успешно проходят индекс уже с сайтами. Плюс, сейчас приходит магазин по мебели на создание - так клиент так же хочет подобрать для него домен, короче уже коммерчески шаблон отрабатывает (тема проверена, один из проектов успешно лезет вперёд, так что дропы правильно подобранные дают однозначно массу плюшек, хотя не лишены и недостатком, но это уже специфика). Юзаю тот же однопоточный, ни чего более не переделывал пока, так как всё работает. Если кому надо по дропам пояснения - переходите на канал в телеге, (канал смотрите у меня в профиле) (в описание канала есть ссылка на чат - подписывайтесь, приветствуем всех адекватных). Там же отвечу и на вопросы связанные с дропами, если надо.

 

[Dim_ON]

К сожалению уже не работает

Индекс Яндекса

Индекс Гугл

ИКС

Упоминания в Я

Упоминания в Г