Selenium, как удобное дополнение к ZennoPoster

[soprano]

Для простого парсинга селениум норм, а вот как появляется рекапча - то всё. Гугл выдаёт ему всегда самую сложную капчу

Можно сохранить профиль при первом обращении к ресурсу с каптчей, или сохранить куки, и тогда далее можно без каптчи заходить

// Создаем cookie
Cookie COOKIE = new Cookie("имя", "содержимое", "домен", "путь", new Date("дата"));
// Создаем браузер
WebDriver driver = new ChromeDriver(options);
// Добавляем cookie в браузер
driver.manage().addCookie(COOKIE);

 

[soprano]

Вот так можно сделать скриншот элемента браузера

                var driver = new ChromeDriver(driverpath);   
                driver.Manage().Window.Size = new System.Drawing.Size(1024, 768);
                driver.Navigate().GoToUrl("https://zennolab.com/discussion");
            
                var screenshotDriver = driver as ITakesScreenshot;
                Screenshot screenshot = screenshotDriver.GetScreenshot();
                    var bmpScreen = new Bitmap(new MemoryStream(screenshot.AsByteArray));

                IWebElement element = driver.FindElement(By.XPath("//h1[@class='p-title-value']"));
                var cropArea = new Rectangle(element.Location, element.Size);
                var bitmap = bmpScreen.Clone(cropArea, bmpScreen.PixelFormat);
                bitmap.Save(file);
                
                driver.Quit();

 

[evgosyan]

Не подскажете, пожалуйста, с TOR возможна интеграция? Или есть какие-то ограничения?

 

[avtostopshik]

Всё запускалось на версии 5.47.0.0 без проблем.

А вот у меня никак не хочет работать. Пишет:

Тип    Время         Сообщение
    2021-04-01   16:00:45.625    Компиляция кода действия id: a5768292-f40c-410f-9d1d-729ffbfaf642 группы действий id: 3f31f32e-9e57-40d2-b7a8-127f46eafe51    Ошибка в действии "CS1502" "Наиболее подходящий перегруженный метод для "OpenQA.Selenium.Firefox.FirefoxDriver.FirefoxDriver(OpenQA.Selenium.Firefox.FirefoxProfile)" имеет несколько недопустимых аргументов". [Строка: 3; Cтолбец: 21]
    2021-04-01   16:00:45.625    Компиляция кода действия id: a5768292-f40c-410f-9d1d-729ffbfaf642 группы действий id: 3f31f32e-9e57-40d2-b7a8-127f46eafe51    Ошибка в действии "CS1503" "Аргумент "1": преобразование типа из "string" в "OpenQA.Selenium.Firefox.FirefoxProfile" невозможно". [Строка: 3; Cтолбец: 39]

При этом в коде вот так:

var driverpath = pathDr + @"\selenium";
IWebDriver driver = new FirefoxDriver(driverpath);

А если пишу вот так:

var driverpath = pathDr + @"\selenium";
IWebDriver driver = new FirefoxDriver();

То ругается по другому:

    2021-04-01   16:02:39.636    Выполнение действия CSharp OwnCode: google search. id: a5768292-f40c-410f-9d1d-729ffbfaf642 группы действий id: 3f31f32e-9e57-40d2-b7a8-127f46eafe51    The geckodriver.exe file does not exist in the current directory or in a directory on the PATH environment variable. The driver can be downloaded at https://github.com/mozilla/geckodriver/releases.

Скачаны последние версии драйверов мозиллы и хрома.
Хром тоже кстати не работает - но там по другим причинам и на него пофигу, мозилла нужна потому-что.
Если добавить geckodriver.exe в папку к библиотекам, запускается консольное окно с надписью:
1617267987073 geckodriver INFO Listening on 127.0.0.1:58562
Через 3 секунды в логе зенки такая ошибка:
Cannot start the driver service on http://localhost:58562/

 

[rol]

Всем привет . не получилось запустить шаблон из статьи пробовал скачивать последний браузера что то не получается браузер открывается и сразу сворачивается, может кто поделится рабочим шаблоном для ознакомления , нужно спарсить все данные сайта https://www.gismeteo.ru/ и сохранить в переменную .

 

[soprano]

Gismeteo отдает данные по населенному пункту в json
А Selenium будет месяцы парсить, скорость небольшая и только один поток.

 

[rol]

Gismeteo отдает данные по населенному пункту в json
А Selenium будет месяцы парсить, скорость небольшая и только один поток.

Хотелось бы для ознакомления посмотреть как работает silenium, если есть для ознакомления рабочий шаблон - пример парсинга страницы любого сайта. Буду благодарен любой информации.

 

[kokoko]

Мне непонятно зачем добавлять селениум а зенку, когда селениум и так напрямую работает и парсит и многопоток может и Хайд режим и дофига настроек есть

 

[morpheus93]

Ребята, вы можете попробовать Pupeteer с дополнительным плагином stealth. Это намного проще в освоении и использовании.

 

[kokoko]

Ребята, вы можете попробовать Pupeteer с дополнительным плагином stealth. Это намного проще в освоении и использовании.

я лично забыл когда зенку использовал, хотя прошка у меня, так post get запросы через python и requests и selenium

 

[avtostopshik]

я лично забыл когда зенку использовал, хотя прошка у меня, так post get запросы через python и requests и selenium

Зенка много где совершенно не обязательной является и использование вижуал студио, python и requests и selenium и прочего отдельно от зенки - естественный шаг при повышении уровня навыков в кодинге. Но зенка всегда нужна по прежнему в двух вещах:
1. У неё отличная эмуляция браузера и при написании шаблонов, где это нужно, не придётся заново всю эмуляцию прописывать
2. Защита от взлома. Это актуально для тех, кто продаёт свои шаблоны - используя зенку, можно быть спокойным, что никто не получит доступа к шаблону без твоего "разрешения".

 

[kokoko]

Зенка много где совершенно не обязательной является и использование вижуал студио, python и requests и selenium и прочего отдельно от зенки - естественный шаг при повышении уровня навыков в кодинге. Но зенка всегда нужна по прежнему в двух вещах:
1. У неё отличная эмуляция браузера и при написании шаблонов, где это нужно, не придётся заново всю эмуляцию прописывать
2. Защита от взлома. Это актуально для тех, кто продаёт свои шаблоны - используя зенку, можно быть спокойным, что никто не получит доступа к шаблону без твоего "разрешения".

ну на счёт заново писать эмуляцию я поспорю, у меня отдельным файлом прописаны все настройки , один раз написал шаб настроек и все, копипасти во все проекты, только чуть подправляй)

 

[avtostopshik]

ну на счёт заново писать эмуляцию я поспорю, у меня отдельным файлом прописаны все настройки , один раз написал шаб настроек и все, копипасти во все проекты, только чуть подправляй)

Ага, только эту эмуляцию сначала ещё написать надо. А потом постоянно актуализировать и улучшать.
А команда зеннолаб делает это за тебя.
А про "заново", имел ввиду - в зеннопостере она уже написана, а если от зенки отказаться - то писать нужно самому заново с нуля.

 

[KolkaPetkinSyn]

А можно как-то взаимодействовать с уже открытым браузером?