Как проверить список URL адресов на валидность?

[sof]

Вообщем задача такая. Имеется список Url адресов мне нужно реализовать такую задачу. Нужно чтобы ZennoPoster брал из списка по порядку нужный урл и проверял доступность адреса. В случае если сайт оказывается не работоспособным или временно не доступным то данный урл чтобы записывался в файл.

Если не тяжело расскажите все на пальчиках или пример шаба киньте. Просто немного в замешательстве и не знаю с чего начинать нужно.

 

[Maria Arbuzova]

после перехода на данный урл можно парсить какой-нибудь уникальный текст на странице, уникальный для случая рабочего урл (или нерабочего урл). Соответственно, если текст найден - урл рабочий (или нерабочий). После сохраняете урл в нужный файл.

 

[Sergodjan]

я такую проверку делаю с помощью get-запроса и проверки какой ответ от сервера..
если ответ 200, то заносим в список валидных, если ответ отличный от 200, то в другой список..
(сортировки по ответу 200 - мне хватает, при необходимости можно проверять по другим ответам)

 

[Sergodjan]

вот шаблон, как иллюстрация:
(вместо сообщений вставите нужные вам действия)

 

[sof]

Maria Arbuzova - пробовал я по вашему методу создавать но у меня что то возникают проблемы когда я в regex прописываю не одно слово для парсинга а 2-3 или более по примеру: вход\ регистрация\ статистика\ то при отладке программа пишет что таких слов не найдено. Хотя если вписывать 1 все находится. Возможно глюк программы не знаю. Но все равно спасибо за подсказку.

sergodjan66 - спасибо тебе многое узнал для себя нового. Действительно ценная информация

 

[mdsurfer]

Maria Arbuzova - пробовал я по вашему методу создавать но у меня что то возникают проблемы когда я в regex прописываю не одно слово для парсинга а 2-3 или более по примеру: вход\ регистрация\ статистика\ то при отладке программа пишет что таких слов не найдено. Хотя если вписывать 1 все находится. Возможно глюк программы не знаю. Но все равно спасибо за подсказку.

sergodjan66 - спасибо тебе многое узнал для себя нового. Действительно ценная информация

для парсинга одного из нескольких слов в regex нужно использовать немного другое условие (вход|регистрация|статистика|что-то там еще), таким образом он будет искать настранице наличие одного из любыъ этих слов

 

[mdsurfer]

Maria Arbuzova - пробовал я по вашему методу создавать но у меня что то возникают проблемы когда я в regex прописываю не одно слово для парсинга а 2-3 или более по примеру: вход\ регистрация\ статистика\ то при отладке программа пишет что таких слов не найдено. Хотя если вписывать 1 все находится. Возможно глюк программы не знаю. Но все равно спасибо за подсказку.

sergodjan66 - спасибо тебе многое узнал для себя нового. Действительно ценная информация

для парсинга одного из нескольких слов в regex нужно использовать немного другое условие (вход|регистрация|статистика|что-то там еще), таким образом он будет искать настранице наличие одного из любыъ этих слов

 

[Maria Arbuzova]

sof, надо вход| регистрация| статистика
не слэш, а вертикальная черта, что и было показано на картинке)

 

[frion-seo]

а как забирать коды ошибок ? сортирую если не 200 то идем дальше и тут вопрос как проверить на значение от 300 до 399 ?? создавать массивы ? или еще как ??

 

[rostonix]

Соберите все заголовки которые вас устроят, объедините в регулярку а-ля (200|302|...), парсите первую строку ответа.
Если что нашли, идете дальше.