Виснут потоки при попытке загрузить страницу

[Sefroz]

Виснут потоки при попытке загрузить страницу.(видимо сокс если не нравится то сайт не дает загрузить эту страницу, так происходит не с каждым соксом). Далее это забивает все потоки и все.

Настройки таба стоят 60 с.

Как можно решить проблему? Как вариант чтобы вылетало по ошибке или поток завершался если страница не грузится.

 

[Mikhail B.]

Если стоит 60 сек таймаут, то оно не по ошибке выходит. А просто входит из ожидания загрузки.
Для проверки успешной загрузки есть несколько инструментов. Самый простой это проверка на уникальный элемент на странице.

Могу посоветовать. отключить, картинки, плагины, рекламу. Покопатся в мониторе трафика и ограничить загрузку "левых" сайтов.
Так же стоит обратить внимание на кубик "Состояние занятости". Попробуйте его добавить перед загрузкой.

Ну и не стоит забывать о том, что если прокси медленные, то никакие меры не помогут.

Скорость я проверяю так, делаю запрос с таймаутом 2 сек на сайт

https://check.zennolab.com/

Если вышло по ошибке, то скорость прокси не достаточная для работы.

 

[Phoenix78]

Если стоит 60 сек таймаут, то оно не по ошибке выходит. А просто входит из ожидания загрузки.
Для проверки успешной загрузки есть несколько инструментов. Самый простой это проверка на уникальный элемент на странице.

Могу посоветовать. отключить, картинки, плагины, рекламу. Покопатся в мониторе трафика и ограничить загрузку "левых" сайтов.
Так же стоит обратить внимание на кубик "Состояние занятости". Попробуйте его добавить перед загрузкой.

Ну и не стоит забывать о том, что если прокси медленные, то никакие меры не помогут.

Скорость я проверяю так, делаю запрос с таймаутом 2 сек на сайт

https://check.zennolab.com/

Если вышло по ошибке, то скорость прокси не достаточная для работы.

ууу... чек 2 с. и на зеннолаб .... опасно
как по мне так лучше чекнуть до гугля, так определяем что прокси жив и второй раз чекнуть до целевого сайта с нужным таймаутом, так определим что прокси достаточно шустрый для данного сайта.

 

[Mikhail B.]

ууу... чек 2 с. и на зеннолаб .... опасно

Нормально. 2 года так работаем))

 

[Sefroz]

Д

Если стоит 60 сек таймаут, то оно не по ошибке выходит. А просто входит из ожидания загрузки.
Для проверки успешной загрузки есть несколько инструментов. Самый простой это проверка на уникальный элемент на странице.

Могу посоветовать. отключить, картинки, плагины, рекламу. Покопатся в мониторе трафика и ограничить загрузку "левых" сайтов.
Так же стоит обратить внимание на кубик "Состояние занятости". Попробуйте его добавить перед загрузкой.

Ну и не стоит забывать о том, что если прокси медленные, то никакие меры не помогут.

Скорость я проверяю так, делаю запрос с таймаутом 2 сек на сайт

https://check.zennolab.com/

Если вышло по ошибке, то скорость прокси не достаточная для работы.

дело не в том, жив ли прокси, дело в том что сайт его отвергает и как то зацикливает загрузку страницы, другие страницы при этом с этого же сокса могут грузиться. Поток просто виснет при попытке загрузить эту ссылку и все, ничего больше не происходит.

Как сделать так чтобы поток обрывался или вылетал по ошибке, в случае если загрузка страницы зациклилась(либо идет более 60 секунд например) ?

Проверку загрузки страницы не возможно сделать, тк на шаге загрузки поток и виснет и так происходит со всеми потоками которые наткнулись на такие соксы которых 5%.

 

[Phoenix78]

Д


дело не в том, жив ли прокси, дело в том что сайт его отвергает и как то зацикливает загрузку страницы, другие страницы при этом с этого же сокса могут грузиться. Поток просто виснет при попытке загрузить эту ссылку и все, ничего больше не происходит.

Как сделать так чтобы поток обрывался или вылетал по ошибке, в случае если загрузка страницы зациклилась(либо идет более 60 секунд например) ?

Проверку загрузки страницы не возможно сделать, тк на шаге загрузки поток и виснет и так происходит со всеми потоками которые наткнулись на такие соксы которых 5%.

кидай свой проблемный сокс, глянем что там виснет. а виснет любой сайт или конкретный ? а то я на яндексе собрался проверять

 

[Sefroz]

кидай свой проблемный сокс, глянем что там виснет. а виснет любой сайт или конкретный ? а то я на яндексе собрался проверять

виснет конкретный сайт, сокс привязан по ип. Когда получалось выловить такой сокс в проджект мейкере ,он так же вис, только принудительная остановка помогала. Так же можно с такого сокса зайти на другой сайт.

Дело именно в сайте. Нужно каким то образом делать обрыв и завершать действие инстанса либо по ошибке, либо просто обрыв.

 

[Phoenix78]

виснет конкретный сайт, сокс привязан по ип. Когда получалось выловить такой сокс в проджект мейкере ,он так же вис, только принудительная остановка помогала. Так же можно с такого сокса зайти на другой сайт.

Дело именно в сайте. Нужно каким то образом делать обрыв и завершать действие инстанса либо по ошибке, либо просто обрыв.

посмотри в мониторе трафика, может там есть какие запросы которые нереально долго висят и не относятся к этому сайту. попробуй их в черный список занести. попробуй вообще только один сайт в белый список занести. и глянь что будет.

 

[Phoenix78]

попробуй этот код.

instance.ActiveTab.NavigateTimeout = 35;                                     // устанавливаем таймаут загрузки страницы
instance.ActiveTab.Navigate("www.yandex.ru");

for (int i = 1; i <= 35; i++)
{
    if (instance.ActiveTab.IsBusy && !(instance.ActiveTab.IsVoid || instance.ActiveTab.IsNull)) Thread.Sleep(1000); else break;
}
instance.ActiveTab.Stop();
return true;