Проблема при работе скриптов через прокси socks5

[progr]

Есть скрипт зенно, который отлично работает при прямом подлючении или через ВПН
Но как только ставлю работу скрипта через сокс, начинаются проблемы с недогрузом страниц, и соответственно с поиском штмл-элементов на ней.
Соксы рабочие, вставляю их в ФФ и пробую открыть страницу - все открывается.

Паузы ожидания уведичивал

Отключал плагины флеш/джава/сильвер
Ставил свой C# код типа такого для ожидания загрузки

int MilisecondForTimeout = Convert.ToInt32(project.Variables["MilisecondForTimeout"].Value);
instance.ActiveTab.WaitDownloading();
Random rnd = new Random();
System.Threading.Thread.Sleep(rnd.Next(3,4)*MilisecondForTimeout);

И все это не помогает.

Версия зенно: 5.7.1.0

Соксы пробовал и через проксичекер и просто брать из текстового файла.
В дебагере видно что сокс включается и при нажатии кнопки ПОКАЗАТЬ в самом постере тоже в окне видно что сокс подключен.

В дебагере через сокс почти всегда проходит. хотя бывают сбои и там с поиском штмл-элементов
Но как тольок запускаю этот скрипт в самом постере, начинается конкретный недогруз страниц.
Видно при просмотре как я уже писал при нажатии на кнопку ПОКАЗАТЬ
А так же при неудачном поиске элемента - скрипт делает скриншт страницы и на скрине тоже страница не прогружается полностью.

Как это можно вылечить?

 

[rostonix]

провайдер прокси наверное рубит по количество подключений) поэтому нестабильно работают. ибо открытие страницы в инстансе это не один коннект к соксу, а несколько

 

[progr]

Но ведь тот же самый сокс установленный в ФаерФокс нормально отрабатывает
и в браузере открывается страница

 

[rostonix]

FireFox не умеет нормально закрывать подключения через соксы.
Можно попробовать поставить 1 поток на процесс вот тут где 5 http://i.gyazo.com/9755bd4a1e5d52ddff55151b1d89b4d6.png

 

[progr]

Попробовал разные вариантыколичества потоков на процес от 1 до 5. Не помогло.
Похоже у Зенно проблемы при работе с соксами.
И дело тут не в сокс сервисе. Я проверял разные соксы.
Если администрация в состоянии оказать бесплатную или платную консультации и показать по факту что зенно пашет через соксы - буду благодарен.

 

[rostonix]

можно попробовать увеличить количество подключений в файле конфигурации
http://zennolab.com/discussion/threads/works-in-project-maker-not-in-zp.15162/#post-92237

 

[progr]

Проблему так и не удалось решить. Шаблон НЕ работает через соксы нормально. Без соксов все хорошо. Стучу к вам за консультацией.

Пробовал в шаблоне отключить загрузку стилей и графики. И снова столкнулся с той же проблемой. При прямом конекте или впне шаблон работает замечательно. Как тольок включаем его на соксы, снова не работает и не находит html-элементы

 

[ssXXXss]

Недавно сидел эксперементировал c браузерами так как у меня не подгружалась полностью страница, я думал проблема в моих юзер-агеантах и сокс прокси, шаблон настроил по умолчанию взяв всё стандартное с зенно, оказалось ФФ: IE: Opera - хорошо, Chrome и Safari - не подгружает полностью страницу, со списка убрал юзер агенты хрома и всё тоже хорошо заработало

 

[progr]

Смена юзер агентов не помогает. Работает только 1 аккаунт в 1 поток через 1 сокс. Если поставить 2 потока то начинают валить ошибки. Пробовал играться с настройками зенно.

Готов щедро оплатить консультацию человеку кто заведет зенно через соксы и без ошибок. На моей системе или на вашей. Да хоть на сервере. Здесь в топике либо пишите ПМ с контактыми данными, я свяжусь.

 

[rostonix]

Откуда соксы? Где покупали?

И еще раз уточню: одновременно попробовали 1 инстанс на базу при увеличенном количестве подключений в файле настроек?

 

[progr]

соксы покупали разные и с разных сервисов. скорость соксов от 750 кб /с и выше. сами соксы проверили через фф.
что значит 1 инстанс на базу? что за база?

 

[ssXXXss]

а соксы не по привязке к йпи, а то щас логин пароль и ещё привязка требуется

 

[rostonix]

соксы покупали разные и с разных сервисов. скорость соксов от 750 кб /с и выше. сами соксы проверили через фф.
что значит 1 инстанс на базу? что за база?

вот это http://zennolab.com/discussion/threads/problema-pri-rabote-skriptov-cherez-proksi-socks5.18797/#post-120896
соксы где покупали? мы не против протестировать и, купить.

 

[progr]

вот это http://zennolab.com/discussion/threads/problema-pri-rabote-skriptov-cherez-proksi-socks5.18797/#post-120896
соксы где покупали? мы не против протестировать и, купить.

Да пробовали настройки эти менять. При уменьшении до 1-2 становится еще хуже - инстансы висят очень долго открытыми - но ничкаких действий не производят и в итоге завершают работу, с ошибкой поиска.
А вот при увеличении особого эффекта не заметили. инстансы немного быстрее грузятся но ошибка не уходит.

Соксы скинул в личку

 

[rostonix]

хорошие соксы вроде.
прогнал на тестовом шаблоне в многопотоке, проблем не заметил.
буду разговаривать с разрабами еще сегодня

 

[rostonix]

на почту саппорта сможете прислать шаблон на котором у вас проблема?
на ваши соксах на мои двух шаба пока тестил все подгружается отлчино

 

[alekwuy]

та дело там не в прокси , там бывает не догружается яваскрипт или просто долго грузится.
работает с скосами хреново из-за скорости просто

 

[ssXXXss]

на гет запросах летает на той же скорости, при чём тут скорость

 

[alekwuy]

на гет запросах летает на той же скорости, при чём тут скорость

а причем тут гет запросы и работа в браузере?


вставь прокси в браузер и перейди например на тот же пинтерест, а потом сделай гет запрос и сравни скорость загрузки страницы и скорость гет запроса

 

[ssXXXss]

скорость загрузки страницы - вот с этим соглашусь, но опять же даже сейчас проект тестирую, своими платными в браузере открывается быстро, а взятые с инета прокси уже страница то с натяжкой загружается, то вообще пусто после долгого ожидания загрузки

 

[alekwuy]

скорость загрузки страницы - вот с этим соглашусь, но опять же даже сейчас проект тестирую, своими платными в браузере открывается быстро, а взятые с инета прокси уже страница то с натяжкой загружается, то вообще пусто после долгого ожидания загрузки

ну вот и ответ, помогает отключение загрузки всего что не нужно, того же css например, если взять сайт который динамически подгружает элементы то без css это работает намного лучше даже на медленных прокси.
протестировано многих сайтах
например гугл+, пинтерест

 

[progr]

на почту саппорта сможете прислать шаблон на котором у вас проблема?
на ваши соксах на мои двух шаба пока тестил все подгружается отлчино

Сегодня опробовал новые соксы, серверные, 100 мбит ) Многопоток заработал. Настройки зенно изменены от дефолтных, выставил кол-во потоков 10, вместо дефолтных 5.

Пока что сдержанный оптимизм, погоняю пару дней шаблоны и если проблема не появится, уже пришлю шаблон на почту.

 

[rostonix]

Держу за вас кулачки)

 

[progr]

Вот выяснилась еще одна очень важная деталь
Была куплена ВДСка с широким каналом. и на ней подняли 10 соксов которые смотрели в мир с одного и того же ип.
По сути эти 10 соксов являются одним и тем же соксом но с разными портами.
Запустили 4 потока на выполнение с использованием этих соксов (случайным образом выбираются 4 разных сокса).
В итоге пошли ошибки поиска элемента и недогрузки страниц.
Отмечу еще раз соксы с большой скоростью. т.к. это собственная вдска которая ничего кроме соксов и не выполняла.
Затем самое интересное.
Заставили шаблоны работать через ОДИН из этих соксов - все 4 потока повесили на один сокс вместо 4 разных
Что по сути не меняет ничего в ширине канала и общей скорости.
В итоге все 4 потока отработали на ура.

куда копать дальше пока не понятно. Есть какие то идеи?

Хочу отметить так же, что достаточно появление второго сокса, и появляются ошибки

 

[progr]

Итак проблема решена. Возможно кому то будет интересно знать что и где искать

Сайт который использовал шаблон перегружен графикой и количеством конектов за один сеанс (порядка 150 конектов одновременных при загрузке страницы)
Один инстаннс съедал очень много памяти системы, при пяти одновременных потоках эти пять инстансов настолько нагружали систему, что выходила ошибка Bad-Request.
Путем анализа трафика было выяснено, что ошибка вызывалась отсутствием передачи куки. Далее была проанализирована при 5 потоках нагрузка на жесткий диск.
И выявили что он перестает отвечать в кокой то момент. Получается не успешно чтение кук (и не только, т.к. и запись тоже не работала - соответственно инстансы просто вылетали с ситсемной ошибкой.)

Хочу обратить внимание разработчиков - что скорее всего в зенно отсутствует проверка на вот такие ошибки RO/RW на диск и, соответственно мы не можем точно задетектить почему же инстансы вылетают (считали сначала что не может найти какой то элемент, хотя на скриншотах этот элеммент присутствовал).

Вопрос почему это так проявляется именно на разных проксях, а на одном и том же пока остается загадкой.

Как решили и полностью задетектили проблему:

Все система на которой крутится ЗенноПостер была перенесена в рам диск.
Т.е на линуксовом сервере с большим количеством оперативы, поднят Vbox на котором установлена винда, образ которой соответственно хранится не на жестком диске а в рам.
После вот таких манипуляций система заработала а 10 потоков на разных обычных соксах скорость которых лежит в пределах 300-1000 КБ/с

Возможным решением проблемы с такими высоконагруженными по памяти инстансами считаем будет так же установка винды на SSD диски
Что конечно не очень дешево.

Думаю разработчикам стоит обратить на данный топик внимание.
Спасибо всем кто помогал.

 

[rostonix]

очень крутой фидбек, спасибо. а можно посмотреть шаблон или хотя бы сайт, чтобы представлять как воспроизвести?

 

[darkdiver]

Спасибо за исследование, проверим в чем проблема, да соксы в FireFox работают плохо, не смотря на то что мы их пытаемся патчить переодически, если можно злополучный ресурс скиньте в лику, чтобы воспроизвести проблему.

 

[LexxWork]

для меня ответ очевиден.
вот сижу я щас в старой опере ацэ и не могу набрать текст, потому что крутой джаваскрипт этого форума нацеплял паралельных потоков до предела.
Если зайду в хром - всьо норм. Почему?
Да потому что новые браузеры разделяют на процессы и задачи и соединения. Что благотворно сказывается на скорости.
К чему это я.
Рано или поздно, но это незбежно, зенопостер столкнется с такой же проблемой лоб в лоб.
Пока это редкие сайты, похожие на этот форум или тот злополучный сайт. Пока что на один "поток" приходится максимум 1 база. Я не ошибся с порядком слов, а если ошибся, то будущего у зенопостера нет

 

[darkdiver]

проблема не в кривых скриптах, и не в разделении на процессы.
А в том, что FireFox имеет настройки, которые отвечают за максимальное кол-во подключений, максимальное кол-во подключений на домен, максимальное кол-во подключений через proxy.
Но при работе через соксы он эти настйроки не учитывает и творит все что ему вздумается, при работе через http proxy или напрмую все нормально и эти настройки учитываются и все работает.
Возможно мы откажемся от переписвания сетевого стека FireFox для решения этих проблем с соксами и предоставим дргуое решение.