Как чекнуть сотню тысяч сайтов на валидность?

[Sambo7]

Всем доброго дня.
Есть список сайтов, сотня тысяч...
Как можно их все чекнуть на валидность, и оставить только работоспособные?

 

[Roman*]

Делайте GET запрос к каждому домену и получайте 200 OK о работоспособности сайта, часть нерабочих должна отвалиться.

 

[Sambo7]

Благодарю, конечно за ответ. Только мне это не очень понятно... Если у Вас мало времени, может быть, кто другой, будет добр, объяснить попонятней, как это сделать? С Post Get, пока еще не работал, поэтому не понятно!
В любом случае, благодарю Вас от души, за ответ, спасибо!

 

[Nord]

оставить только работоспособные

Нужно изначально определиться, что такое работоспособный сайт

 

[Sambo7]

Когда начинал писать эту тему, обдумывал это слово...
Работающий сайт, который можно посетить, и найти на нем необходимую информацию...

 

[Roman*]

Благодарю, конечно за ответ. Только мне это не очень понятно... Если у Вас мало времени, может быть, кто другой, будет добр, объяснить попонятней, как это сделать? С Post Get, пока еще не работал, поэтому не понятно!
В любом случае, благодарю Вас от души, за ответ, спасибо!

Примерно вот так, но как я вижу нынешние сайты, очень часто есть защита клауда, которая при гет запросе с зенки отдает 403 ошибку или как авито 302 редирект в заголовке, это все можно учитывать, когда парсите с гет запроса какие то фразы отвечающие за работоспособность самого сайта, бывает что домен продается, но тоже будет 200 OK, а страница будет не этого домена, а регистратора, короче нюансов море.​

 

[Sambo7]

Может где то на форуме, есть хотя-бы примерный пример подобного шаблона, который можно было бы переделать под себя?...
Гуглил, ничего путнего не нашел. Есть какая-то ветка, с подобным вопросом, но там ничего не понятно... Вот тут
Вот смотрю на Ваш пример, аж руки опускаются... Нет, то что Вы конечно ответили, это здорово... Однако, я многого не понимаю..
Мне почему-то казалось, что чтобы проверить сайты на работоспособность, нужно буквально несколько кубиков, со строкой кода...
Однако всё не так легко... как кажется....

 

[Sambo7]

А если попытаться написать простой шаб на кубиках:
1. Переход на сайт (тянем ссылки со списка).
2. Если сайт загружается, т.е. проверка какого то текста....
А какой текст можно искать на работающем сайте???
3. Работающий сайт записываем в отдельный список.
И вуаля... Да возможно сожгем не мало электроэнергии, но для меня подобный способ лучше, чем сидеть без дела, и "ждать когда рак на горе свиснет"...

Если Вам не сложно, обозначьте пожалуйста, по каким признакам можно определить что сайт работающий??? Пункт 2.

 

[oOmp]

А какой текст можно искать на работающем сайте???

Тебе же на скрине показали - 200 ОК

 

[Sok0lov]

Mass Alive Checker - ScrapeBox

www.scrapebox.com

Вот можно быстро проверить Скрэйпбоксом

 

[Alexbrush]

Весь чекер это 5 блоков в цикле или без цикла и в многопотоке, но с этим сам разберёшься наверно.

Сделал за пару минут, но лучше тебе особенно на таких простых задачках самостоятельно изучать и пробовать собирать шаблоны. Больше практики - больше возможностей в использовании зеннопостер.

 

[heks]

(?<=HTTP/1\.1\ )[\w\W]*?(?=\ O) регулярку только такую сделать нужно иногда ответ Ok встречается и в список указать фал куда будет сохраняться если в многопотоке запускать

 

[Alexbrush]

(?<=HTTP/1\.1\ )[\w\W]*?(?=\ O) регулярку только такую сделать нужно иногда ответ Ok встречается и в список указать фал куда будет сохраняться если в многопотоке запускать

Согласен по регулярке. По файлам откуда брать и куда ложить наверно разберётся как привязать. Здесь не было задачи сделать готовый шаблон за него, а оставить немного маневра самостоятельно доделать под себя. Я больше хотел показать простоту самой сборки такого типового шаблона чекера, а дальше уже сам

 

[Sambo7]

Посмотреть вложение 121009
Весь чекер это 5 блоков в цикле или без цикла и в многопотоке, но с этим сам разберёшься наверно.

Сделал за пару минут, но лучше тебе особенно на таких простых задачках самостоятельно изучать и пробовать собирать шаблоны. Больше практики - больше возможностей в использовании зеннопостер.

Я конечно Вам от души благодарен, однако, проверил Ваш файл через вирустотал...
Показывает вирусы...

 

[Alexbrush]

Я конечно Вам от души благодарен, однако, проверил Ваш файл через вирустотал...
Показывает вирусы...

Обычный файл проекта zp, какие там вирусы?) Чуть меньше паранойи с левым софтом антивирусом и будет жить легче.

На сегодня встроенная защита от Windows справляется достаточно хорошо. Антивирусы и прочие сканеры принимают за вирусы слишком много лишнего, что они просто не могут определить и помечают это как вирусы.

 

[heks]

Я конечно Вам от души благодарен, однако, проверил Ваш файл через вирустотал...
Показывает вирусы...

ты файл чекни который тебе человек дал зачем ты чекаешь ссылку ?

VirusTotal

VirusTotal

www.virustotal.com

Файлы которыйе находятся на форуме вирустотал скачать не может чекни вон домен https://zenno.club тебе тоже покажетчто вирусы тут. Ты уже под колпаком. Видимо встроенные средства виндовс тебе не помогли обезопаситься от вирусов

 

[Sambo7]

От души благодарю, всех кто делал мне пендали в этой теме... Особенно человека, который сделал шаб для чеканья доменов...
Всем спасибо, всем удачи!...