Защита от вирусов при массовой проверке доменов

[Alferov]

Здравствуйте! Возникла такая задача - прочекать сотни тысяч доменов на наличие определенного кода. Сделать такой шаблон не проблема, но вот вопрос - на сайтах же могут висеть вирусы... Не убью ли я себе комп этим чекером, если нарвусь на сотни сайтов с вирусами, и можно ли как-то перестраховаться на всякий случай?

 

[ZULI]

Делали такое, но делали на линуксе, поэтому было пофигу.

Возможно отключение скриптов как-то поможет, да и выключить переход по редиректам (не знаю есть такое по умолчанию), но тогда можно потерять часть сайтов если у них будет редирект с HTTP на HTTPS

 

[Alferov]

Благодарю за ответ! Редиректы боюсь нельзя отключать, там процентов 30 сайтов с редиректами, то с https то с www, то домен изменился, то еще что-то) Скрипты отрубил, но думаю сначала прочекать все сайты на редиректы через GET-запрос с сохранением только заголовков и вытаскиванием оттуда конечного адреса редиректа, а потом пробивать через 3 сервиса - https://transparencyreport.google.com/safe-browsing/search, https://yandex.ru/safety/ и https://vms.drweb.ru/online
Хоть немного снижу риски, но не уверен что полностью поможет) Может кто-то знает решение менее времязатратное и более эффективное)

 

[DeMoH]

Благодарю за ответ! Редиректы боюсь нельзя отключать, там процентов 30 сайтов с редиректами, то с https то с www, то домен изменился, то еще что-то) Скрипты отрубил, но думаю сначала прочекать все сайты на редиректы через GET-запрос с сохранением только заголовков и вытаскиванием оттуда конечного адреса редиректа, а потом пробивать через 3 сервиса - https://transparencyreport.google.com/safe-browsing/search, https://yandex.ru/safety/ и https://vms.drweb.ru/online
Хоть немного снижу риски, но не уверен что полностью поможет) Может кто-то знает решение менее времязатратное и более эффективное)

антивирус на пк поставить))) и он будет сам лочить все что нужно
а если не хочешь антивирус чисто только на запросах проверять работу сайта не по web

 

[Alferov]

Благодарю! Логично) Но тут скорее вопрос перестраховки)))

 

[apalon]

SiteAnalyzer_x64, proverka 200 ok na xrumake ili utilita httpanswer

 

[Alferov]

Спасибо, попробую!

 

[Dexio]

SiteAnalyzer_x64, proverka 200 ok na xrumake ili utilita httpanswer

По сути та же проверка по гет 200.

 

[Alferov]

У проверки по ГЕТ обнаружился косяк, который я не учел) JS-редирект то он не видит В общем, пока чекаю через гет, вычищу хотя бы те домены, которые вообще никакого ответа сервера не возвращают, а дальше уже буду искать)