Вопрос о преимуществах C#, Get/Post запросов и немного о Selenium

Lord_Alfred · 28.07.2017

romasa464 сказал(а):
Выходит, что автоматизацию действий с сайтами на чистом C# можно сделать либо без использования браузера на Get/Post запросах, либо на основе таких вещей как Selenium или Webbrowser

Можно, но вот как там с многопотоком - сказать сложно.

romasa464 сказал(а):
По сути ведь загрузка страниц в обоих вариантах (что на кубиках, что на C# через "свой код") происходит с одинаковой скоростью и нагрузкой

Нет, с разной. При загрузке get/post - ты скачиваешь только страницу без обработки. В случае браузерного вариант - качаются стили, изображения, js, куча других данных + происходит обработка DOM дерева (как на стороне браузера, так и потом при работе с этим деревом через кубики/методы).

romasa464 сказал(а):
Или существуют методы "обмана" или эмуляции человекоподобных запросов?

Открою тайну - браузер тоже работает через get/post. Просто он обрабатывает информацию и делает дополнительные запросы / выполняет js и делает какие-то действия с ним и т.д.

romasa464 сказал(а):
Если писать программу на Get/Post запросах, для крупных социалок это ведь палится

Всё зависит от конкретного сайта и от того, как всё сделано для него. Можно заэмулироваться так, что никто не узнает. Но поседеешь пока разбираешься что именно сайт выполняет и как он это обрабатывает. Проще через браузер всё выполнять и не парится.

WebBot · 28.07.2017

Все это напоминает мне одну интересную статью (давно где-то читал) о разном подходе к организации высоконагруженных проектов в России и за бугром. В России нанимается крутой программер и админ, которые сообща проводят оптимизацию сервера и проекта в результате чего сервер который раньше выдерживал 7000 уников может выдержать 10000 уников .... за бугром же в основном просто берется более мощный серв и все ... ну или просто докупается ram, проц и т.д ... ибо при современной стоимости железа, зачастую намного выгоднее избежать гемороя с полными перелопачиванием всего проекта и обойтись малой кровью как говорится. Так и с POST/GET шаблонами в ZP .. да, это круто, жрет намного меньше ресурсов и тд ... но если ты постоянно работаешь с ZP, зарабатываешь с помощью него, то зачастую просто выгоднее 1 раз купить реально нормальный мощный комп и быстро без гимора делать шаблоны с использованием браузера, сэкономив себе кучу времени на ковырянии в снифере и разборе как оно там все изнутри устроено.

doc · 28.07.2017

savit сказал(а):
Все это напоминает мне одну интересную статью (давно где-то читал) о разном подходе к организации высоконагруженных проектов в России и за бугром. В России нанимается крутой программер и админ, которые сообща проводят оптимизацию сервера и проекта в результате чего сервер который раньше выдерживал 7000 уников может выдержать 10000 уников .... за бугром же в основном просто берется более мощный серв и все ... ну или просто докупается ram, проц и т.д ... ибо при современной стоимости железа, зачастую намного выгоднее избежать гемороя с полными перелопачиванием всего проекта и обойтись малой кровью как говорится. Так и с POST/GET шаблонами в ZP .. да, это круто, жрет намного меньше ресурсов и тд ... но если ты постоянно работаешь с ZP, зарабатываешь с помощью него, то зачастую просто выгоднее 1 раз купить реально нормальный мощный комп и быстро без гимора делать шаблоны с использованием браузера, сэкономив себе кучу времени на ковырянии в снифере и разборе как оно там все изнутри устроено.

зависит от шаблона, зависит от задач, зависит от целей.
Если зарабатываешь копеечки, но берешь количеством - пост гет очень быстро окупятся и принесут прибыль.
Если делаешь программу на массовую продажу - запросы будут перспективнее во всех смыслах (интерес покупателя, количество покупателей, общие прибыли).
А если перелопачивать нечего и шаблон в несколько действий, типа регера?)

WebBot · 28.07.2017

doc сказал(а):
зависит от шаблона, зависит от задач, зависит от целей.
Если зарабатываешь копеечки, но берешь количеством - пост гет очень быстро окупятся и принесут прибыль.
Если делаешь программу на массовую продажу - запросы будут перспективнее во всех смыслах (интерес покупателя, количество покупателей, общие прибыли).
А если перелопачивать нечего и шаблон в несколько действий, типа регера?)

Согласен. Поэтому и написал "зачастую просто выгоднее 1 раз купить реально нормальный мощный комп". Слово зачастую допускает наличие иных вариантов ж)

doc · 28.07.2017

savit сказал(а):
Согласен. Поэтому и написал "зачастую просто выгоднее 1 раз купить реально нормальный мощный комп". Слово зачастую допускает наличие иных вариантов ж)

убедил)

justhelen · 29.07.2017

romasa464 сказал(а):
Здравствуйте, друзья.
Вопрос номер 3.

Если делать программу для автоматизации действий с сайтом на C# с нуля, без использования Zenno, то каким средством для автоматизации вы советуете пользоваться? С WebBrowser не знаком, но поработал с Selenium, там например, при работе программы вместе с ней открывается и браузер, что не совсем удобно. А такие решения как PhantomJS по мнению многих проблематичны.

Я пользуюсь Селениумом. Там не обязательно открывается браузер. Если ты используешь хромдрайвер, то там есть аж 2 варианта, чтобы не открывались окна.

1. Добавляешь в агрументы "--window-position=-32000,-32000" (цифры можно менять). Тогда у тебя координаты окна за пределами экрана. Окно не открывается, но есть на панели задач.

2. Добавляешь в аргументы "--silent-launch". Окно не открывается и его нет на панели задач. Но с этим вариантом не всё работает. Т.е. у меня некоторые боты работают так, некоторые нет.

Если ты используешь не хромдрайвер, а например ФФ или другие, то поищи, там тоже должна быть возможность так сделать.

justhelen · 29.07.2017

romasa464 сказал(а):
А как у Selenium с многопотоком? Вообще на нём можно более-менее шустрого бота написать?

Ну, смотря что будет делать бот. У меня на серваке с 16Гб оперативки тянет 75 потоков. Ну это для примера, от сайта зависит. Но думаю +/- 200-250 Мб на поток будет.

justhelen · 29.07.2017

romasa464 сказал(а):
А как у Selenium с многопотоком? Вообще на нём можно более-менее шустрого бота написать?
И ещё, работая через него - можно ведь как в ZP организовать подгрузку любого Useragent + Одни и те же куки каждый раз?

С многопотоком там так, как ты сделаешь :-)

Вот упустила этот момент как-то. Т.е. это же ты просто пишешь свою прогу, делаешь там многопоток. Как сделаешь, так и будет :-)

justhelen · 29.07.2017

romasa464 сказал(а):
А что вы можете сказать о PhantomJS?

Ничего

Я знаю, что он есть и его используют многие, что там работает JS, Ajax вроде тоже, флэш не знаю, работает ли, но вроде как идея в том, что он прямо как настоящий браузер, но не браузер, т.е. по-моему он вообще без окна. Я знаю только хромдрайвер, потому что думаю, что если уж делать эмуляцию, то нормальную. Там всё равно будут JS объекты, которые есть например в хроме, а в других браузерах могут отличаться или может не быть таких. Но вообще не для всех сайтов нужно какую-то крутую эмуляцию делать, так что, можно попробовать PhantomJS наверное. Но я бы тогда пробовала сделать на POST/GET уже. Хотя это тоже не всегда так просто. Это всё в зависимости от задачи.

justhelen · 29.07.2017

Кстати, а тут получается, что можно Селениум обсуждать? Я думала нельзя, типа конкурирующий продукт.

justhelen · 29.07.2017

romasa464 сказал(а):
А как у Selenium с многопотоком? Вообще на нём можно более-менее шустрого бота написать?
И ещё, работая через него - можно ведь как в ZP организовать подгрузку любого Useragent + Одни и те же куки каждый раз?

Можно. Можно даже лучше сделать :-)

Сохранить папку пользователя, которая в точности как твоя папка, которая лежит скорей всего в AppData. Т.е. профайл хрома. Там будут куки, история, хранилище и вообще всё, что есть у обычного пользователя хрома.

justhelen · 29.07.2017

romasa464, я что в целом могу сказать. На Селениуме много чего можно сделать, но это конечно в разы сложней, чем на Зенке, но гибче. Т.е. я же не знаю, сколько времени ты хочешь потратить на изучение этого всего, что тебе надо сделать и какие знания у тебя есть сейчас. Ты как бы хочешь понять, что тебе больше подходит, а тут сложно сказать, потому что нет информации. Но если будешь делать на Селениуме, то это тебе придётся написать не маленькую прогу, надо будет изучить, как делать многопоток, не будет всяких удобных кубиков для работы с текстом и т.д. Потому что Селениум - это либа, где есть базовые функции типа "загрузить урл", "нажать на кнопку" и файл chromedriver.exe (ну или geckodriver.exe и т.п.), с помощью которого он и работает с браузером. И это всё, больше ничего нет. А в Зенке куча разных плюшек для удобства, часто не надо будет програмить и процесс разработки совсем другой. Так что, это кому как.

Lord_Alfred · 29.07.2017

romasa464 сказал(а):
Т.е. в основном, весь рабочий софт для автоматизации, скажем, в социалках пишется на Get/Post запросах и без участия браузера?

Тут зависит от софта. Нельзя всё под одну гребенку же: кто как реализовывает.

justhelen сказал(а):
С многопотоком там так, как ты сделаешь Вот упустила этот момент как-то. Т.е. это же ты просто пишешь свою прогу, делаешь там многопоток. Как сделаешь, так и будет

Вот, кстати, да - селениум же изначально разрабатывался как софт для тестирования, а не создания ботов. Поэтому там привычного многопотока (выставить столько-то повторений, столько-то потоков) и ослеживать их состояние (на сколько я знаю) - нельзя.
Плюс, там нет работы с смс-сервисами, сервисами распознавания, капмонстром и тд. Всё это нужно будет реализовывать самому или искать либы(?), кто это уже сделал.

romasa464 сказал(а):
В таком случае, исполнение кода на C# лучше чем штатные кубики? И если да, то чем?

Просто удобнее. Гибче система получается. Отлаживать зачастую проще (try-catch и пошел исключительные ситуации пилить). Не будет тысячи кубиков, в которых запутаешься. Вложенные циклы адекватно выглядеть будут (для меня это одна из самых главных причин, почему я за C# в этом плане).
Ну и если разработчики - программисты, им проще пилить на C# в любом случае, чем кубиками всё делать.

Я последнее время 50/50 или даже 60/40 (C#/кубики) делаю. Большинство сложных действий с DOM пилю через XPath в C#, простую установку значений (аля ввести логин) - через кубики. Навигейты (переходы на страницы) - почти всегда кубиками, т.к. это визуально удобнее (проще найти потом где этот переход глазами по шаблону). Сложные действия, вроде составления рандомного мессаджа из 5 и более списков - на C#, ибо там мне это удобнее.

Вообщем, на вкус и цвет :-)

justhelen · 29.07.2017

Lord_Alfred сказал(а):
Вот, кстати, да - селениум же изначально разрабатывался как софт для тестирования, а не создания ботов. Поэтому там привычного многопотока (выставить столько-то повторений, столько-то потоков) и ослеживать их состояние (на сколько я знаю) - нельзя.
Плюс, там нет работы с смс-сервисами, сервисами распознавания, капмонстром и тд. Всё это нужно будет реализовывать самому или искать либы(?), кто это уже сделал.

Многопотока там и нет, вообще нет :-)

Я имела в виду, что там можно самому сделать многопоток точно так же, как можно запустить много браузеров вручную. Сколько повторений, что считать успешным выполнением шаба - это всё надо писать самому. Отслеживать состояние потоков - писать самому :-)

Смс-сервисы - самому, через апи :-)

Распознавание капчи - то же самое. А так да, в Селениуме только функции работы с веб элементами и всё. Вся остальная логика - её там нет, это надо делать отдельно.

Lord_Alfred · 29.07.2017

justhelen сказал(а):
Многопотока там и нет, вообще нет

К слову, там браузерный процесс кушает одно ядро или работает со всеми ядрами на системе? Т.е. есть ли привычное для понимания зенки - выделенный процесс под каждый инстанс?

Просто почему спрашиваю - мы тут замерять производительности серверов решили ради спортивного интереса, там каждый запущенный шаблон - кушает одно ядро, все действия, что там "бенчатся" - выполняются (на сколько я понимаю внутреннюю реализацию зенки, да и вижу по нагрузке в момент тестирования) - на одном ядре. Вот если бы они на всех ядрах параллельно выполнялись, просто ожидая свободного - было бы быстрее или медленнее?

justhelen · 29.07.2017

Lord_Alfred сказал(а):
К слову, там браузерный процесс кушает одно ядро или работает со всеми ядрами на системе? Т.е. есть ли привычное для понимания зенки - выделенный процесс под каждый инстанс?

Не знаю про ядра. Но процессы там отдельные. Там вообще нет такого понятия, как инстанс. Это просто много открытых хромов (не вкладки, а именно отдельные процессы) + к каждому хрому отдельный процесс chromedriver.exe (но он мало жрёт, около 3 Мб). Ну это просто в цикле создаётся много объектов класса WebDriver в проге. Каждый из них открывает браузер и запускает chromedriver.exe. Какой-то такой штуки вроде Зенки, которая управляет этим всем и у которой есть инстансы, там нет. Т.е. эту штуку нужно делать отдельно. Есть ещё Selenium Grid. Это когда делается сеть из них, один назначается главным (hub), другими (node) он управляет. Причём всё это дело находится на разных компах (можно ли сделать грид на одном, я даже и не знаю, вообще думаю, что нет). Но мне грид не нужен (и я про него знаю только в общих чертах т.к. не юзала), у меня 1 сервер, я запускаю много этих вот процессов и моя прога управляет ими. Ошибки там обрабатывает, запускает потоки и т.д.

А как посмотреть, работает какой-то процесс со всеми ядрами или только с одним? Я просто раньше вообще на это внимание не обращала, я всё на оперативку смотрю.

Lord_Alfred сказал(а):
Вот если бы они на всех ядрах параллельно выполнялись, просто ожидая свободного - было бы быстрее или медленнее?

Вообще не знаю :-)

Мне кажется, что там в процессах нет чего-то такого, что жрёт настолько много ресурсов, что была бы какая-то разница вообще.

Lord_Alfred · 29.07.2017

justhelen сказал(а):
А как посмотреть, работает какой-то процесс со всеми ядрами или только с одним? Я просто раньше вообще на это внимание не обращала, я всё на оперативку смотрю.

Хм.. А я сейчас решил перепроверить ту методику как проверял это, и судя по всему я ошибался. Там инстанс вроде как будет все ядра использовать. Я думал, что в идеальном случае при запуске 10 потоков - будет использоваться 10 ядер, а остальные будут простаивать. Судя по всему - это не так) Хмммм)

justhelen · 29.07.2017

Lord_Alfred сказал(а):
Хм.. А я сейчас решил перепроверить ту методику как проверял это, и судя по всему я ошибался. Там инстанс вроде как будет все ядра использовать. Я думал, что в идеальном случае при запуске 10 потоков - будет использоваться 10 ядер, а остальные будут простаивать. Судя по всему - это не так) Хмммм)

Ну, если примерно так смотреть, то я запустила сейчас всего в 5 потоков, открыла монитор ресурсов. На всех ядрах вижу практически одинаковую картину. Наверное, это значит, что использует все. Но вообще, он работает точно так же, как обычный браузер хром (ну или другой, в зависимости от того, какой драйвер используется). Т.е. если вот браузер хром использует все ядра, Селениум тогда тоже :-)

justhelen · 29.07.2017

Lord_Alfred сказал(а):
Хм.. А я сейчас решил перепроверить ту методику как проверял это, и судя по всему я ошибался. Там инстанс вроде как будет все ядра использовать. Я думал, что в идеальном случае при запуске 10 потоков - будет использоваться 10 ядер, а остальные будут простаивать. Судя по всему - это не так) Хмммм)

Если будет какой-то более точный способ замерить это всё, возможно, я закодю его в своём боте ради интереса :-)

Ну или какого тестового бота сделаю (если не очень сложного, чтобы не очень долго было делать). Сможем тогда точно узнать. Возможно, выложу сюда :-)

Мне тоже интересно.

Lord_Alfred · 29.07.2017

justhelen сказал(а):
Если будет какой-то более точный способ замерить это всё, возможно, я закодю его в своём боте ради интереса Ну или какого тестового бота сделаю (если не очень сложного, чтобы не очень долго было делать). Сможем тогда точно узнать. Возможно, выложу сюда Мне тоже интересно.

Так один "синтетический" способ посчитать попугаев уже есть) Я его выложил выше в топике, там простой шаблон - можно по аналогии сделать и с селениумом :-)

Было бы, кстати, прям ооооочень интересно проверить на 1 сервере что будет быстрее - зенка или селениум. В рамках работы такого шаблона.

Если заинтересует - могу расписать логику человеческим языком или объяснить каждый кубик в том шаблоне, но лучше, наверное, это обсуждение перенести в тот тред )

justhelen · 29.07.2017

Lord_Alfred сказал(а):
Так один "синтетический" способ посчитать попугаев уже есть) Я его выложил выше в топике, там простой шаблон - можно по аналогии сделать и с селениумом
Было бы, кстати, прям ооооочень интересно проверить на 1 сервере что будет быстрее - зенка или селениум. В рамках работы такого шаблона.

Если заинтересует - могу расписать логику человеческим языком или объяснить каждый кубик в том шаблоне, но лучше, наверное, это обсуждение перенести в тот тред )

Ок, скачаю шаблон :-)

Я просто тот тред просмотрела, но не вникала особо, потому что сейчас Зенку не использую. Не надо расписывать логику, я посмотрю, как там в шаблоне сделано. Но только ж у меня старая Зенка - 4.5.0.2. Так что, уже не идеально. Если у меня какие-то кубики не поймёт ПМ (а такое бывает, если шаблон с более новой версии), я тогда спрошу, что там и как :-)

Только я это всё не сегодня буду делать.

romasa464 сказал(а):
Моя цель изучить язык C#, в первую очередь, меня интересует этот ЯП с точки зрения написание программ для автоматизации действий на сайтах (регеры, парсеры, постеры, etc).

Т.е. хочется в рамках изучения языка, сразу поглядывать как делается интересный мне софт, вот и интересуюсь технологией реализации, чтобы знать на что смотреть и при помощи каких инструментов тренироваться.

Ну, тогда тебя ждёт много боли

Но если интересно и есть время, изучай конечно.

Lord_Alfred · 29.07.2017

justhelen сказал(а):
Ок, скачаю шаблон Я просто тот тред просмотрела, но не вникала особо, потому что сейчас Зенку не использую. Не надо расписывать логику, я посмотрю, как там в шаблоне сделано. Но только ж у меня старая Зенка - 4.5.0.2. Так что, уже не идеально. Если у меня какие-то кубики не поймёт ПМ (а такое бывает, если шаблон с более новой версии), я тогда спрошу, что там и как Только я это всё не сегодня буду делать.

Эх, на последней бы проверить) На той вообще непредсказуемый результат будет, т.к. движок фф очень старый скорее всего..

justhelen · 29.07.2017

Lord_Alfred сказал(а):
Эх, на последней бы проверить) На той вообще непредсказуемый результат будет, т.к. движок фф очень старый скорее всего..

Блин

Не хотелось вот прям обещать, что точно сделаю

Сопротивляюсь как могу, но эт нереально

Я выложу сюда, если сделаю :-)

Lord_Alfred · 29.07.2017

justhelen сказал(а):
Блин Не хотелось вот прям обещать, что точно сделаю Сопротивляюсь как могу, но эт нереально Я выложу сюда, если сделаю

Я даже не знал, что так хорошо умею убеждать :ce:

Буду благодарен за результаты) Если зенке со старым шаблоном совсем плохо будет или она не сможет выполнить его (или вообще не отобразит, т.к. такое тоже возможно), то я могу попробовать себе селениум поставить и запустить написанного бота. Только краткий how-to нужен будет)

justhelen · 29.07.2017

Lord_Alfred сказал(а):
Я даже не знал, что так хорошо умею убеждать

Да вот дар убеждения просто

Lord_Alfred сказал(а):
Буду благодарен за результаты) Если зенке со старым шаблоном совсем плохо будет или она не сможет выполнить его (или вообще не отобразит, т.к. такое тоже возможно), то я могу попробовать себе селениум поставить и запустить написанного бота. Только краткий how-to нужен будет)

Конечно будет how-to, там очень легко.

Вопрос о преимуществах C#, Get/Post запросов и немного о Selenium

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Кто просматривает тему: (Всего: 2, Пользователи: 0, Гости: 2)