Парсер и чекер Expired - освободившихся дропов (доменов)

leha52rus

Client
Регистрация
01.06.2017
Сообщения
266
Благодарностей
91
Баллы
28
44914


Всем привет!
Ни для кого не секрет что отбор дропов будь то для дорвеев или для других проектов еще та рутинная работа!
представляю Вам простенький шаблон, который готов это делать за вас, шаблон заполняет таблицу основными ключевыми показателями, по которым Вы сможете уже ориентироваться, выбирать ли вам этот дроп или распарсить другие.
В шаблон можно закидывать свои дропы

В этот файлик, туда же падают и спаршенные дропы


44911

или же спарсить дропы с ресурса который выбран разработчиком по умолчанию (тобишь мной ))),)

44915

Рекомендую использовать прокси, предполагаю что подойдут любые шаред, я юзал свои, но некоторые показатели, такие как наличие дропа в поиске порой распарсить не получается, в связи с защитой ресурса (каптча) я не стал заморачиватся, т.к. это не основной показатель для меня на данном этапе был.
Шаб на голом post\get
работа в 1(!!!) поток
за час в среднем распарсил около 1000 дропов. (получил информацию )

Кол-во же спаршенных дропов за час я не берусь предсказать.... возможно это будет 10 или 40 тысяч...

44913

Шаблон открыт, ничего там сверхъестественного нет, но предупреждаю, лучше не лазить дабы не свихнуться =) Ибо порой моя логика не поддаётся логическим триггерам )))
44910
44912

P.s. я бы в свою очередь рекомендовал собирать дропы на "expireddomains"
Там можно выхватить "рыбку" по жирнее, но и встроенным парсером можно собрать интересные экземпляры!
 
Категория
Парсинг, Чекер

Вложения

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Последнее редактирование:

vadimlgg2

Client
Регистрация
06.11.2019
Сообщения
68
Благодарностей
12
Баллы
8
Спасибо!
 
  • Спасибо
Реакции: leha52rus

leha52rus

Client
Регистрация
01.06.2017
Сообщения
266
Благодарностей
91
Баллы
28
  • Спасибо
Реакции: vadimlgg2

Astraport

Client
Регистрация
01.05.2015
Сообщения
4 983
Благодарностей
4 434
Баллы
113
Вы дропы под доры ищите? На какие показатели ориентируетесь?
 

leha52rus

Client
Регистрация
01.06.2017
Сообщения
266
Благодарностей
91
Баллы
28
Вы дропы под доры ищите? На какие показатели ориентируетесь?
Это весьма интимный момент
Нет какого-то общего знаменателя...
В целом смотрят на бэк линки, индексацию в яшке,гугле, алекса ранк и прочие прочие моменты
 

vadimlgg2

Client
Регистрация
06.11.2019
Сообщения
68
Благодарностей
12
Баллы
8
Затестил, все работает)
 

Juniorcpa

Client
Регистрация
27.05.2014
Сообщения
2 031
Благодарностей
1 286
Баллы
113
Леха, растёшь!
 
  • Спасибо
Реакции: leha52rus

leha52rus

Client
Регистрация
01.06.2017
Сообщения
266
Благодарностей
91
Баллы
28
Небольшое дополнение

Шаблон собирает следующую информацию по Дропу


  • ИКС - Индекс качества сайта — это показатель того, насколько полезен ваш сайт для пользователей с точки зрения Яндекса.
  • AlexaRank
  • AR country - принадлежность к стране
  • SimilarWeb rank - статистика
  • Ссылок по LinkPad (входящие ссылки на дроп)
  • Ссылок LinkPad с доменов
  • Исх. ссылок всего/на домены
  • Вх.ссылок с разных IP/Соседей по IP
  • SemRush ссылки
  • Power Trast
  • Уровень доверия (траст) по MyWot
  • Безопасность по Google
  • Безопасность по Yandex
  • LiveInternet - счетчик
  • Индекс Яндекс (временный freeze)
  • Google индекс (временный freeze)
  • Наличие в webarhiv
  • Проверка домена на - Свободен\Занят
 
  • Спасибо
Реакции: Lord_Alfred и vadimlgg2

Lord_Alfred

Client
Регистрация
09.10.2015
Сообщения
3 916
Благодарностей
3 867
Баллы
113
Отличная инициатива! Молодец!

PS: чем первую картинку из облака тегов генерил? Очень уж красивая )
 
  • Спасибо
Реакции: leha52rus

leha52rus

Client
Регистрация
01.06.2017
Сообщения
266
Благодарностей
91
Баллы
28

zava75

Client
Регистрация
01.12.2019
Сообщения
161
Благодарностей
4
Баллы
18

vadimlgg2

Client
Регистрация
06.11.2019
Сообщения
68
Благодарностей
12
Баллы
8

zava75

Client
Регистрация
01.12.2019
Сообщения
161
Благодарностей
4
Баллы
18
ошибки 8a41f9d9-8286-4270-94bf-1ad2248f5132
20be23cb-23ae-4f58-b9aa-4f53b62372e1 и тд
на 5.39
 

leha52rus

Client
Регистрация
01.06.2017
Сообщения
266
Благодарностей
91
Баллы
28
ошибки 8a41f9d9-8286-4270-94bf-1ad2248f5132
20be23cb-23ae-4f58-b9aa-4f53b62372e1 и тд
на 5.39
Только что всё проверил 5.30 - полёт нормальный
У вас ошибка при запросе к ресурсу во время парсинга доменов...
В каком формате используете прокси? и используете ли их вообще?
 

zava75

Client
Регистрация
01.12.2019
Сообщения
161
Благодарностей
4
Баллы
18
159.69.133.211:8080 и тд в файл proxy.txt и без проксей не работает
 

booms1

Client
Регистрация
20.08.2019
Сообщения
136
Благодарностей
18
Баллы
18
Только что всё проверил 5.30 - полёт нормальный
У вас ошибка при запросе к ресурсу во время парсинга доменов...
В каком формате используете прокси? и используете ли их вообще?
Привет, с чем связана ошибка "пустой запрос" ?
И в каком формате прокси в файл записывать? а так же какой тип?
 
Последнее редактирование:

leha52rus

Client
Регистрация
01.06.2017
Сообщения
266
Благодарностей
91
Баллы
28

leha52rus

Client
Регистрация
01.06.2017
Сообщения
266
Благодарностей
91
Баллы
28
Привет, с чем связана ошибка "пустой запрос" ?
И в каком формате прокси в файл записывать? а так же какой тип?
Формат proxy:port стандартный Zenno Формат
домены должны быть в следующем формате, в списке "site.ru" без http\s и прочих атрибутов в виде "www"
 

zava75

Client
Регистрация
01.12.2019
Сообщения
161
Благодарностей
4
Баллы
18
У меня аналогичная ситуация тоже пустой запрос, работает только без проклей собирая домены. А можно анонимные ? бесплатно беру тут
http://spys.one/
Анонимные покупаю.
При статистике 20be23cb-23ae-4f58-b9aa-4f53b62372e1 даже без проксей(
 

leha52rus

Client
Регистрация
01.06.2017
Сообщения
266
Благодарностей
91
Баллы
28
У меня аналогичная ситуация тоже пустой запрос, работает только без проклей собирая домены. А можно анонимные ? бесплатно беру тут
http://spys.one/
Анонимные покупаю.
При статистике 20be23cb-23ae-4f58-b9aa-4f53b62372e1 даже без проксей(
прокси похоже не важнецкого качества
попробуйте работать без прокси, прокси были прикручены для сбора статистики по наличию страниц в индексе, но на данном этапе нужно менять алгоритм работы, поэтому можете протестировать работу без прокси
 

booms1

Client
Регистрация
20.08.2019
Сообщения
136
Благодарностей
18
Баллы
18
Прокси http нужны и всё ворк
 
  • Спасибо
Реакции: leha52rus

leha52rus

Client
Регистрация
01.06.2017
Сообщения
266
Благодарностей
91
Баллы
28
Вообще есть вариант не флудить в теме а отписываться только по неотложным каким то вопросам и багам
___________
В то же время, я предлагаю создать небольшую группу в телеграмм к примеру где можно будет обсудить какие - то новые фишки, просто поболтать на тему, или же внести какое-то своё предложение по функционалу.
Если предложение интересно, лайкните пост, по кол-ву лайков уже будет решатся судьба данного творения, развиваем и создаём группу или оставляем всё как есть и прекращаем дальнейшее развитие
Всем Бобра =)
 

leha52rus

Client
Регистрация
01.06.2017
Сообщения
266
Благодарностей
91
Баллы
28
Друзья! Как и обещал, теперь у нас есть место где мы можем с вами обсудить какие-то задачи, поставить новые цели, пообщаться о мире SEO в рамках нашего шаблона "Drop Search"
Обновления и багфиксы Вы сможете всегда найти в этой теме, а пофлудить, задать вопросы и предложить свои идеи сможете в группе telegram
-------------
 

leha52rus

Client
Регистрация
01.06.2017
Сообщения
266
Благодарностей
91
Баллы
28
Друзья! Всем привет! Шаблон претерпел небольшие изменения, улучшена стабильность работы, исправлен ряд багов
Можете скачать и сами всё протестировать
С наступающим всех! =)
 

Вложения

Последнее редактирование:

Valandersi

Client
Регистрация
19.01.2015
Сообщения
1 924
Благодарностей
1 123
Баллы
113
Друзья! Всем привет! Шаблон претерпел небольшие изменения, улучшена стабильность работы, исправлен ряд багов
Можете скачать и сами всё протестировать
С наступающим всех! =)
Лех с шаблоном что-то не так поставил парсить 30 страниц
Вот что получил:
47981
 

leha52rus

Client
Регистрация
01.06.2017
Сообщения
266
Благодарностей
91
Баллы
28
Лех с шаблоном что-то не так поставил парсить 30 страниц
Вот что получил:
Посмотреть вложение 47981
Ага, знаю
Не с шаблоном, с ресурсом откуда эти дропы он дёргает, похоже базы они не обновили, в итоге имеем то что имеем.... Там 1 Дроп =)
 

Valandersi

Client
Регистрация
19.01.2015
Сообщения
1 924
Благодарностей
1 123
Баллы
113

vadimlgg2

Client
Регистрация
06.11.2019
Сообщения
68
Благодарностей
12
Баллы
8
Друзья! Всем привет! Шаблон претерпел небольшие изменения, улучшена стабильность работы, исправлен ряд багов
Можете скачать и сами всё протестировать
С наступающим всех! =)
у вас нет для доступа к шаблону пишет :(
 

Zennovods

Client
Регистрация
11.02.2019
Сообщения
212
Благодарностей
126
Баллы
43
Надо заюзать) Спасибо!
 

sera4242

Новичок
Регистрация
20.05.2020
Сообщения
4
Благодарностей
0
Баллы
1
Ничего не работает. Какую версию используете.
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)