Запускаю через parallelfor httpget запрос и некоторые потоки отваливаются с ошибкой ResourceDownloader.GetResult превышен таймаут... Таймаут больше 50000 выставлять нет смысла, прокси из проксичекера. Try Catch не дал результата. Каким образом отловить ошибки http, чтоб поток не отваливался? xNet пока не рассматриваю, 2 года ничего не меняется.
Как отловить ошибку ResourceDownloader.GetResult - HttpGet TimeOut ?
- Автор темы SergSh
- Дата начала
Дело в том, что из за этой ошибки теряются данные, увеличение таймаута не решает проблему, а с htmlagilitypack все останавливается.
one
Client
- Регистрация
- 22.09.2015
- Сообщения
- 7 020
- Реакции
- 1 315
- Баллы
- 113
Тогда берем более быстрые прокси. Да, и рабочие прокси. Уверены что взятый прокси в этот момент рабочий?
ibred
Client
- Регистрация
- 04.04.2015
- Сообщения
- 3 835
- Реакции
- 3 565
- Баллы
- 113
Если увеличение таймаута не помогает, значит причина в следующем:
- Слабый и-нет канал \ Плохой прокси
- Сайт нестабильно работает
Теперь Ваша задача его обработать.
Я обычно делаю экшены запросов необязательными, это позволяет экшену всегда выходить по зелёной ветке.
Далее после каждого экшена запроса я проверяю ответ на пустоту.
Если ответ пустой - меняю прокси (если их используете), итак в цикле примерно 3-5 раз.
Если же замена прокси не помогла, вероятнее всего проблема в сайте и я просто приостанавливал работу шаблона на определённое время.
one
Client
- Регистрация
- 22.09.2015
- Сообщения
- 7 020
- Реакции
- 1 315
- Баллы
- 113
ibred
Client
- Регистрация
- 04.04.2015
- Сообщения
- 3 835
- Реакции
- 3 565
- Баллы
- 113
Если кубиком:
Если кодом:
C#:
if (!string.IsNullOrWhiteSpace(result)) {
return "Успешно";
}
PHP:
var proxylist = project.Lists["p"];
var result = project.Lists["res"];
var error = project.Lists["error"];
string[] additionalHeaders = {
"Accept-Language: " + project.Profile.AcceptLanguage,
"Accept: " + project.Profile.HTTPAccept,
"Accept-Encoding: " + project.Profile.AcceptEncoding,
};
ParallelLoopResult loopResult = Parallel.For(0, 100, x => {
var proxy = "";
lock (CommonCode.pl)
{
proxy = proxylist[0];
proxylist.RemoveAt(0);
}
string res = "";
try
{
res = ZennoPoster.HttpGet("http://2ip.ru/", "http://" + proxy, "UTF-8", ZennoLab.InterfacesLibrary.Enums.Http.ResponceType.HeaderAndBody, 50000, "", "", true, 3, additionalHeaders);
}
catch
{
lock (CommonCode.res)
{
error.Add(proxy);
}
}
if(!string.IsNullOrEmpty(res))
{
HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
doc.LoadHtml(res);
var item = doc.DocumentNode.SelectSingleNode(@"//div[@class='ip']").InnerText;
if (item != null)
{
lock (CommonCode.res)
{
result.Add(items);
}
}
}
});
Последнее редактирование:
Из за такого свинства, как ты наклацал, сложно гуглить нужное и еще сложнее потом это все фильтровать по форуму.
doc
Client
- Регистрация
- 30.03.2012
- Сообщения
- 8 685
- Реакции
- 4 653
- Баллы
- 113
Ты прав. Надо было вобще написать "Экстрасенсы в отпуске" и забыть. И пусть ребята и дальше бы с тебя клещами крупицы инфы доставали, тратя своё время
res1 результат запроса, да, это ошибка которую упустил редактируя код для постинга сюда. Дело не в этом, дело в том, что ты не вкурсе, что ошибка такая существует при таймауте и в коде все работает. Прочекано два десятка тысячь адресов за 15 мин.
ibred
Client
- Регистрация
- 04.04.2015
- Сообщения
- 3 835
- Реакции
- 3 565
- Баллы
- 113
Что-то я затупил, не заметил.
В целом, очень похоже на баг т.к. трай-кэтч не обрабатывается даже без параллельных запросов.
Хотя я точно помню, что эта обёртка всегда работала.
ibred
Client
- Регистрация
- 04.04.2015
- Сообщения
- 3 835
- Реакции
- 3 565
- Баллы
- 113
Собственно, после запроса работа не останавливается, в случае таймаута - поток продолжает работу, его не выбивает.
Можно сделать такую проверку:
C#:
if (string.IsNullOrWhiteSpace(res)) {
// Берем новый прокси и делаем новый запрос
}
Onegogh
Client
- Регистрация
- 23.12.2015
- Сообщения
- 72
- Реакции
- 13
- Баллы
- 8
ребят, я конечно понимаю что опоздал на 6 лет но решение вот
try catch:
var tmplist = project.Lists["tmplist"].ToList();
var BrokenList = project.Lists["500 Otvet"];
try
{
System.Threading.Tasks.Parallel.ForEach(tmplist, domain =>
{
try
{
var response = ZennoPoster.HTTP.Request(
ZennoLab.InterfacesLibrary.Enums.Http.HttpMethod.HEAD,
domain,
respType: ZennoLab.InterfacesLibrary.Enums.Http.ResponceType.HeaderOnly,
Timeout: 30000,
throwExceptionOnError: true
);
if (response.ToString().Trim() == "")
{
// Добавляем домены которые не отвечают в BrokenList
BrokenList.Add(domain.ToString());
}
}
catch (Exception ex)
{
// Добавляем таймаут домены (и вообще любые ошибочные ответы) в BrokenList
BrokenList.Add(domain);
}
});
}
catch (Exception outerEx)
{
// Обработка ошибок внешнего блока try-catch
throw new Exception(outerEx.Message + "\r\n" + outerEx.StackTrace);
}