Парсер и чекер Expired - освободившихся дропов (доменов)

leha52rus

Client
Регистрация
01.06.2017
Сообщения
267
Реакции
91
Баллы
28
44914


Всем привет!
Ни для кого не секрет что отбор дропов будь то для дорвеев или для других проектов еще та рутинная работа!
представляю Вам простенький шаблон, который готов это делать за вас, шаблон заполняет таблицу основными ключевыми показателями, по которым Вы сможете уже ориентироваться, выбирать ли вам этот дроп или распарсить другие.
В шаблон можно закидывать свои дропы

В этот файлик, туда же падают и спаршенные дропы


44911

или же спарсить дропы с ресурса который выбран разработчиком по умолчанию (тобишь мной ))),)

44915

Рекомендую использовать прокси, предполагаю что подойдут любые шаред, я юзал свои, но некоторые показатели, такие как наличие дропа в поиске порой распарсить не получается, в связи с защитой ресурса (каптча) я не стал заморачиватся, т.к. это не основной показатель для меня на данном этапе был.
Шаб на голом post\get
работа в 1(!!!) поток
за час в среднем распарсил около 1000 дропов. (получил информацию )

Кол-во же спаршенных дропов за час я не берусь предсказать.... возможно это будет 10 или 40 тысяч...

44913

Шаблон открыт, ничего там сверхъестественного нет, но предупреждаю, лучше не лазить дабы не свихнуться =) Ибо порой моя логика не поддаётся логическим триггерам )))
44910
44912

P.s. я бы в свою очередь рекомендовал собирать дропы на "expireddomains"
Там можно выхватить "рыбку" по жирнее, но и встроенным парсером можно собрать интересные экземпляры!
 
Категория
  1. Парсинг
  2. Чекер

Вложения

Последнее редактирование:
Вы дропы под доры ищите? На какие показатели ориентируетесь?
Это весьма интимный момент
Нет какого-то общего знаменателя...
В целом смотрят на бэк линки, индексацию в яшке,гугле, алекса ранк и прочие прочие моменты
 
Затестил, все работает)
 
Леха, растёшь!
 
  • Спасибо
Реакции: leha52rus
Небольшое дополнение

Шаблон собирает следующую информацию по Дропу


  • ИКС - Индекс качества сайта — это показатель того, насколько полезен ваш сайт для пользователей с точки зрения Яндекса.
  • AlexaRank
  • AR country - принадлежность к стране
  • SimilarWeb rank - статистика
  • Ссылок по LinkPad (входящие ссылки на дроп)
  • Ссылок LinkPad с доменов
  • Исх. ссылок всего/на домены
  • Вх.ссылок с разных IP/Соседей по IP
  • SemRush ссылки
  • Power Trast
  • Уровень доверия (траст) по MyWot
  • Безопасность по Google
  • Безопасность по Yandex
  • LiveInternet - счетчик
  • Индекс Яндекс (временный freeze)
  • Google индекс (временный freeze)
  • Наличие в webarhiv
  • Проверка домена на - Свободен\Занят
 
  • Спасибо
Реакции: Lord_Alfred и vadimlgg2
ошибки 8a41f9d9-8286-4270-94bf-1ad2248f5132
20be23cb-23ae-4f58-b9aa-4f53b62372e1 и тд
на 5.39
 
ошибки 8a41f9d9-8286-4270-94bf-1ad2248f5132
20be23cb-23ae-4f58-b9aa-4f53b62372e1 и тд
на 5.39
Только что всё проверил 5.30 - полёт нормальный
У вас ошибка при запросе к ресурсу во время парсинга доменов...
В каком формате используете прокси? и используете ли их вообще?
 
159.69.133.211:8080 и тд в файл proxy.txt и без проксей не работает
 
Только что всё проверил 5.30 - полёт нормальный
У вас ошибка при запросе к ресурсу во время парсинга доменов...
В каком формате используете прокси? и используете ли их вообще?
Привет, с чем связана ошибка "пустой запрос" ?
И в каком формате прокси в файл записывать? а так же какой тип?
 
Последнее редактирование:
Привет, с чем связана ошибка "пустой запрос" ?
И в каком формате прокси в файл записывать? а так же какой тип?
Формат proxy:port стандартный Zenno Формат
домены должны быть в следующем формате, в списке "site.ru" без http\s и прочих атрибутов в виде "www"
 
У меня аналогичная ситуация тоже пустой запрос, работает только без проклей собирая домены. А можно анонимные ? бесплатно беру тут
http://spys.one/
Анонимные покупаю.
При статистике 20be23cb-23ae-4f58-b9aa-4f53b62372e1 даже без проксей(
 
У меня аналогичная ситуация тоже пустой запрос, работает только без проклей собирая домены. А можно анонимные ? бесплатно беру тут
http://spys.one/
Анонимные покупаю.
При статистике 20be23cb-23ae-4f58-b9aa-4f53b62372e1 даже без проксей(
прокси похоже не важнецкого качества
попробуйте работать без прокси, прокси были прикручены для сбора статистики по наличию страниц в индексе, но на данном этапе нужно менять алгоритм работы, поэтому можете протестировать работу без прокси
 
Прокси http нужны и всё ворк
 
  • Спасибо
Реакции: leha52rus
Вообще есть вариант не флудить в теме а отписываться только по неотложным каким то вопросам и багам
___________
В то же время, я предлагаю создать небольшую группу в телеграмм к примеру где можно будет обсудить какие - то новые фишки, просто поболтать на тему, или же внести какое-то своё предложение по функционалу.
Если предложение интересно, лайкните пост, по кол-ву лайков уже будет решатся судьба данного творения, развиваем и создаём группу или оставляем всё как есть и прекращаем дальнейшее развитие
Всем Бобра =)
 
Друзья! Как и обещал, теперь у нас есть место где мы можем с вами обсудить какие-то задачи, поставить новые цели, пообщаться о мире SEO в рамках нашего шаблона "Drop Search"
Обновления и багфиксы Вы сможете всегда найти в этой теме, а пофлудить, задать вопросы и предложить свои идеи сможете в группе telegram
-------------
 
Друзья! Всем привет! Шаблон претерпел небольшие изменения, улучшена стабильность работы, исправлен ряд багов
Можете скачать и сами всё протестировать
С наступающим всех! =)
 

Вложения

Последнее редактирование:
Друзья! Всем привет! Шаблон претерпел небольшие изменения, улучшена стабильность работы, исправлен ряд багов
Можете скачать и сами всё протестировать
С наступающим всех! =)
Лех с шаблоном что-то не так поставил парсить 30 страниц
Вот что получил:
47981
 
Лех с шаблоном что-то не так поставил парсить 30 страниц
Вот что получил:
Посмотреть вложение 47981
Ага, знаю
Не с шаблоном, с ресурсом откуда эти дропы он дёргает, похоже базы они не обновили, в итоге имеем то что имеем.... Там 1 Дроп =)
 
Друзья! Всем привет! Шаблон претерпел небольшие изменения, улучшена стабильность работы, исправлен ряд багов
Можете скачать и сами всё протестировать
С наступающим всех! =)
у вас нет для доступа к шаблону пишет :(
 
Надо заюзать) Спасибо!
 
Ничего не работает. Какую версию используете.
 

Похожие темы

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)