Как обойти/решить cloudflare на сайте?

[l2tester]

Всем привет.
Недавно купил зеннопостер,возникла необходимость получить кучу ящиков для приема писем не на ру домене(outlook не подходит из-за funcaptcha, gmx слишком требователен к проксям, а gmail - нужно тратиться на смски и прокси чтобы регать)

Решил попробовать использовать https://temp-mail.org/ однако на сайте стоит защита cloudflare, причем достаточно агрессивно сконфигурированная.

Что пробовал:
1)Пробовал эмулировать просмотр страницы.
2)Менял прокси
3)Пробовал менять url (типа https://temp-mail.org/en), добавлять referer на поисковые системы и сайты с линками на данный сервис, заходить на сайт с bing/google по релевантному запросу.
4)Пробовал прокликивать кнопки верификации с полной эмуляцией мыши.
5)Пробовал решать hcaptcha стандартными кубиками.
6)Обновил зеннопостер до версии 7.7.30 beta и использовал Chromium с --enable-site-isolation-trials .
7)Пробовал включать и отключать эмуляцию канваса,плагинов,экрана,webrtc, менял движки(CEF,Firefox, Chromium).

Несмотря на все вышеперечисленные манипуляции после прокликивания всех кнопок и решения капчи страница перезагружается и требует повторной верификации.

Все еще не могу понять каким образом происходит детект зеннопостера,
поскольку этот же сайт спокойно открывается в чистом хроме без плагинов и куки в анонимном режиме.

 

[Sergodjan]

@l2tester Сейчас CF меня пропустил на таких настройках, в версии 7.7.3.0:

 

[l2tester]

@l2tester Сейчас CF меня пропустил на таких настройках, в версии 7.7.3.0:

--snip--

Очень странно.
Создал новый проект, включил автоматическую генерацию профиля, включил --enable-site-isolation-trials (Изоляция сайтов) и меня пустило.
Огромное спасибо, пойду тестить как оно работает в многопотоке

 

[one]

пойду тестить как оно работает в многопотоке

О результатах доложить и отчитаться!

 

[Jufel]

А вообще сервисов временной почты много и без таких заморочек, и у них есть api. Например:

https://www.1secmail.com/api/v1/?action=genRandomMailbox&count=1

 

[l2tester]

О результатах доложить и отчитаться!

Результат - работает, но на очень ограниченном количестве проксей, на большинстве уходит в бесконечную проверку.

 

[l2tester]

А вообще сервисов временной почты много и без таких заморочек, и у них есть api. Например:

https://www.1secmail.com/api/v1/?action=genRandomMailbox&count=1

Ну, здесь отчасти интересно не только получить email, но и потренироваться в решении проблемы при работе с cloudflare.

 

[l2tester]

UPD спустя 4 часа:
Нет, похоже все еще проблема в профилях, на 5-10 потоках с 800 уник ip оно работает 1-2 минуты и потом начинает резко вкидывать бесконечные проверки.
Пробовал как dc так и паблик прокси, результат один и тот-же.
Чистый хром с теми же прокси подключенным через плагин и в приватном режиме получает hcaptcha либо простой клик кнопкой и не уходит в бесконечный цикл.

Через https://github.com/fpmon/fingerprinting-monitor посмотрел что именно проверяет скрипт:

Пробовал изменить fingerprint по шрифтам используя эту инструкцию: https://zennolab.atlassian.net/wiki/spaces/RU/pages/2131066881 но не похоже что детект идет по ним.

 

[che100]

посмотрел что именно проверяет скрипт:

И что же он проверяет ) ?

 

[Greez]

@l2tester

Спасибо за интересный скрипт, надеюсь разработчики ZennoPoster примут его во внимание. CloudFlare ещё не мало нашей крови попьёт, он гадёныш быстро обучается и даже если пробить удалось радоваться рано.

Кстати, а ты не думал просто регать домены и на них молотить ящики? Через сPanel на хостингах там автоматизировать нефиг делать. Я когда-то тоже мучался с регой почт, а потом оказалось что этот вариант дешевле и проще в разы.

 

[l2tester]

И что же он проверяет ) ?

По порядку сверху вниз, слева направо:

Включены ли куки("navigator.cookieEnabled")
Юзерагент("navigator.userAgent")
Значение Content-language("navigator.languages","navigator.userLanguage","navigator.language")
Является ли браузер мобильным("window.ondeviceproximity", "window.onuserproximity", "window.DeviceOrientationEvent", "window.DeviceMotionEvent", "navigator.maxTouchPoints", "navigator.msMaxTouchPoints", "navigator.touch")
Операционная система("navigator.platform")
Включен ли DoNotTrack("navigator.doNotTrack", "navigator.msDoNotTrack")
Тип процессора(скорее всего используется для детекта firefox, https://developer.mozilla.org/en-US/docs/Web/API/Navigator/oscpu)
AppCodeName("navigator.appCodeName")
Включен ли плагин Java("navigator.javaEnabled")
Поставщик браузера("navigator.vendor")
Язык браузера("navigator.browserLanguage")
Язык системы("navigator.systemLanguage")
Доступ и информация о хранилище("window.sessionStorage", "window.localStorage", "window.indexedDB", "window.openDatabase", "navigator.webkitTemporaryStorage", "navigator.webkitPersistentStorage", "navigator.openDatabase", "navigator.localStorage")
Имеется ли доступ к интернету("navigator.onLine")
Поддерживается ли drag and drop(в плагине написанно что используется "navigator.dragDrop", однако информацию по этой функции не нашел)
Список плагинов("navigator.plugins")
Версия билда браузера("navigator.productSub")
Операционная система(повтор, см выше)
Количество логических ядер процессора("navigator.hardwareConcurrency")
Детект средств автоматизации("window.webdriver", "navigator.webdriver")
Версия браузера("navigator.appVersion")
Подключены ли камера/микрофон("navigator.mediaDevices")
Разрешен ли доступ к уведомлениям, геолокации итд("navigator.permissions", https://developer.mozilla.org/en-US/docs/Web/API/Permissions_API)
Данные геолокации("navigator.geolocation")
Статус батареи("navigator.getBattery", используется для детекта ноутбуков, планшетов, смартфонов)
Приблизительный объем оперативной памяти("navigator.deviceMemory")
Информация об интернет соединении(тип подключения, скорость, пропускная способность итд "navigator.connection")
Детект шрифтов через canvas(https://developer.mozilla.org/en-US/docs/Web/API/CanvasRenderingContext2D/fill, https://developer.mozilla.org/en-US/docs/Web/API/CanvasRenderingContext2D/fillText)
```

@l2tester
--snip--
Кстати, а ты не думал просто регать домены и на них молотить ящики? Через сPanel на хостингах там автоматизировать нефиг делать. Я когда-то тоже мучался с регой почт, а потом оказалось что этот вариант дешевле и проще в разы.

Понятно что можно купить хостинг и пару доменов, запихать в mx записи доменов хостинг, или еще проще - google/outlook/yandex или еще какой почтовик который поддерживает подключение своих доменов.

Тут уже вопрос не столько в получении почт сколько в обходе cloudflare

 

[che100]

По порядку сверху вниз, слева направо:

Включены ли куки("navigator.cookieEnabled")
Юзерагент("navigator.userAgent")
Значение Content-language("navigator.languages","navigator.userLanguage","navigator.language")
Является ли браузер мобильным("window.ondeviceproximity", "window.onuserproximity", "window.DeviceOrientationEvent", "window.DeviceMotionEvent", "navigator.maxTouchPoints", "navigator.msMaxTouchPoints", "navigator.touch")
Операционная система("navigator.platform")
Включен ли DoNotTrack("navigator.doNotTrack", "navigator.msDoNotTrack")
Тип процессора(скорее всего используется для детекта firefox, https://developer.mozilla.org/en-US/docs/Web/API/Navigator/oscpu)
AppCodeName("navigator.appCodeName")
Включен ли плагин Java("navigator.javaEnabled")
Поставщик браузера("navigator.vendor")
Язык браузера("navigator.browserLanguage")
Язык системы("navigator.systemLanguage")
Доступ и информация о хранилище("window.sessionStorage", "window.localStorage", "window.indexedDB", "window.openDatabase", "navigator.webkitTemporaryStorage", "navigator.webkitPersistentStorage", "navigator.openDatabase", "navigator.localStorage")
Имеется ли доступ к интернету("navigator.onLine")
Поддерживается ли drag and drop(в плагине написанно что используется "navigator.dragDrop", однако информацию по этой функции не нашел)
Список плагинов("navigator.plugins")
Версия билда браузера("navigator.productSub")
Операционная система(повтор, см выше)
Количество логических ядер процессора("navigator.hardwareConcurrency")
Детект средств автоматизации("window.webdriver", "navigator.webdriver")
Версия браузера("navigator.appVersion")
Подключены ли камера/микрофон("navigator.mediaDevices")
Разрешен ли доступ к уведомлениям, геолокации итд("navigator.permissions", https://developer.mozilla.org/en-US/docs/Web/API/Permissions_API)
Данные геолокации("navigator.geolocation")
Статус батареи("navigator.getBattery", используется для детекта ноутбуков, планшетов, смартфонов)
Приблизительный объем оперативной памяти("navigator.deviceMemory")
Информация об интернет соединении(тип подключения, скорость, пропускная способность итд "navigator.connection")
Детект шрифтов через canvas(https://developer.mozilla.org/en-US/docs/Web/API/CanvasRenderingContext2D/fill, https://developer.mozilla.org/en-US/docs/Web/API/CanvasRenderingContext2D/fillText)

Я про достоверность этого чекера.

 

[l2tester]

Я про достоверность этого чекера.

Ну, что мешает вызвать данные функции в браузере и посмотреть вывод?
Или распотрошить скрипт cloudflare и поискать вызовы этих функций?

 

[che100]

Ну, что мешает вызвать данные функции в браузере и посмотреть вывод?
Или распотрошить скрипт cloudflare и поискать вызовы этих функций?

Отсутствие времени, потому и заглянул.

 

[Alekseyn]

Результат - работает, но на очень ограниченном количестве проксей, на большинстве уходит в бесконечную проверку.

Попробуйте запустить инстанс с аргументом --site-per-process

 

[cooki]

generator.email в помощь, если возиться не хочется.

 

[White trash]

От cloudflare мне помогал юзер-агент от яндекс браузера.

 

[Markoonij]

Ребята,помогите пробить CF тут:

https://liveweb.everygame.eu/en/live/overview

 

[Grizley]

Ребята,помогите пробить CF тут:

https://liveweb.everygame.eu/en/live/overview

С этим юзерагентом зашел
Mozilla/5.0 (iPhone; CPU iPhone OS 15_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148 YaBrowser/19.5.2.38.10

 

[dataf]

Пишу парсера и автоматизацию любой сложности.
Парсинг с обходом Cloudflare (есть свое собственное решение, работает очень быстро практически как обычные запросы).
Парсера с обходом любой защиты от ботов.
Автоматизацию с эмулированием поведенческие факторы (клики, движение мышкой) и многое другое.
Пишу парсера под windows/linux.
Мой ютуб с примерами обхода Cloudflare: https://www.youtube.com/@coderpicasso
Мой телеграм: @dflowd

 

[intagens]

Сейчас CF меня пропустил на таких настройках, в версии 7.7.3.0:

сейчас на таких не пускает на версии 7.7.4.0) какие настройки/версия ZP актуальны для обхода CF на данный момент?

 

[Sergodjan]

сейчас на таких не пускает на версии 7.7.4.0) какие настройки/версия ZP актуальны для обхода CF на данный момент?

В механике CF были изменения и вам теперь для этой задачи потребуется Зеннопостер новее, чем 7.7.11.0.
А лучше самый актуальный - текущая версия 7.7.17.0 и скоро будет выпущен 7.7.18.0.