Обход TLS отпечатков при работе через Post/Get для Akamai и Cloudflare и для других сайтов

[zarufakis]

Получилось с прокси запустить ? Все жду пример а его нет и нет.

В "proxyUrl": "", пихай свой прокси в формате зенки и все работает, проверено.

 

[Darvel]

Можешь выложить пример запроса на любой сайт в виде шаблона?

 

[sw_sw]

А чтобы для браузера такое же было, нет случайно?

 

[heks]

Можешь выложить пример запроса на любой сайт в виде шаблона?

пару дней уже жду тоже. с проксями с куками post запрос нужен какая нибудь авторизация на сайте. С одним сайтом воюю но почему то не получается )))

 

[seodima]

Ребята, а как загрузить как файл изображение через этот форвардинг запросов? Оно вроде и скачивает, но файл просто forward.
Переименование проблему не фиксит.

 

[Dmitrybyapple]

Ребята, а как загрузить как файл изображение через этот форвардинг запросов? Оно вроде и скачивает, но файл просто forward.
Переименование проблему не фиксит.

вот пример, GPT в помощь как под зенку переделать

const ffi = require('ffi-napi');
const fs = require("fs")

// load the tls-client shared package for your OS you are currently running your nodejs script (i'm running on mac)
const tlsClientLibrary = ffi.Library('./../dist/tls-client-darwin-amd64-1.7.2.dylib', {
    'request': ['string', ['string']],
    'getCookiesFromSession': ['string', ['string']],
    'addCookiesToSession': ['string', ['string']],
    'freeMemory': ["void", ['string']],
    'destroyAll': ['string', []],
    'destroySession': ['string', ['string']]
});

const requestPayload = {
    "tlsClientIdentifier": "chrome_103",
    "followRedirects": false,
    "insecureSkipVerify": false,
    "withoutCookieJar": false,
    "withDefaultCookieJar": false,
    "forceHttp1": false,
    "withDebug": false,
    "withRandomTLSExtensionOrder": false,
    "isByteResponse": true,
    "isByteRequest": false,
    "catchPanics": false,
    "timeoutSeconds": 30,
    "timeoutMilliseconds": 0,
    "certificatePinningHosts": {},
    "proxyUrl": "",
    "isRotatingProxy": false,
    "headers": {
        "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
        "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36",
        "accept-encoding": "gzip, deflate, br",
        "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7"
    },
    "headerOrder": [
        "accept",
        "user-agent",
        "accept-encoding",
        "accept-language"
    ],
    "requestUrl": "https://avatars.githubusercontent.com/u/17678241?v=4",
    "requestMethod": "GET",
    "requestBody": "",
    "requestCookies": []
}

// call the library with the requestPayload as string
const response = tlsClientLibrary.request(JSON.stringify(requestPayload));

// convert response string to json
const responseObject = JSON.parse(response)

const base64Data = responseObject.body.replace(/^data:image\/png;base64,/, "");

const done = fs.writeFile("./example.png", base64Data, 'base64', () => {

})

 

[seodima]

Спасибо. Похоже, не хватало
"isByteResponse": true,

 

[BblTPE3BUTEJlb]

У меня только один вопрос: а чем вам курл не угодил? Обычный, системный, сразу в комплекте с виндой 10, пример post запроса, который под рукой:
curl -v -X POST "https://example.com/api/submit" \
--http2 \
--tlsv1.3 \
--tls-max 1.3 \
--ciphers "TLS_AES_128_GCM_SHA256:TLS_AES_256_GCM_SHA384:TLS_CHACHA20_POLY1305_SHA256:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256" \
-H "Host: example.com" \
-H "Connection: keep-alive" \
-H "Content-Length: 43" \
-H "sec-ch-ua: \"Google Chrome\";v=\"125\", \"Chromium\";v=\"125\", \"Not.A/Brand\";v=\"24\"" \
-H "sec-ch-ua-mobile: ?0" \
-H "sec-ch-ua-platform: \"Windows\"" \
-H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36" \
-H "Content-Type: application/json" \
-H "Accept: application/json, text/plain, */*" \
-H "Origin: https://example.com" \
-H "Sec-Fetch-Site: same-origin" \
-H "Sec-Fetch-Mode: cors" \
-H "Sec-Fetch-Dest: empty" \
-H "Referer: https://example.com/form" \
-H "Accept-Encoding: gzip, deflate, br, zstd" \
-H "Accept-Language: en-US,en;q=0.9" \
--cookie "session_id=abc123; csrf_token=xyz456" \
--data-raw '{"username":"testuser","action":"submit"}'

Чего я не понимаю? Зачем вам велосипеды?

Можно докопаться, что Курл не поддерживает http3, но горячо любимый надзор за пределы этой страны его и так не пускает. Да и много кто еще. Утвеждаете, что сидите в Европке, из РФ за проксей - получите детект. Но это из другой оперы, вне сабжа этой статьи.


Что, счас опять начнется, "Вау, а что, так можно было?"
Победа в конкурсе, говорите...
Вы бы изучили возможности того, что у вас уже есть под капотом.

P.s. зарекся же серьезные темы сюда вбрасывать...

 

[cooki]

а может кто-то объяснить хотя бы коротко, как сайт видит, браузер запрос передает или допустим get от зенно?

 

[BblTPE3BUTEJlb]

а может кто-то объяснить хотя бы коротко, как сайт видит, браузер запрос передает или допустим get от зенно?

Так в стартпосте есть теория.
Если мы говорим только в контексте tls отпечатка, то:
1) все браузеры на движке хромиум используют системную криптобиблиотеку и шифрование, т.е. отличить запрос от браузера или правильно настроеный курл - невозможно. Используется один и тот же механизм. А как работает решение из статьи - я х.з.;
2) для инфы: Браузер Фаерфокс использует все свое, и для него описанный метод имеет смысл, через курл надо подбирать аналог, и не факт, что какой-нить уникальный именно для фаерфокса шифр позволит это сделать. Модуль post-get постера юзает, вероятно, то же свою библиотеку на шарпе, давно не обновляемую. Никто и не пытался сделать из нее видимость браузера;
3) веббраузеры, встроеные в постер, это обычные браузеры на движке хромиум, в этом плане не отличающиеся от обычного. Им можно сменить отпечаток, ранее я даже писал как, но вопрос, зачем? Зачем вы хотите уйти от стандартных значений?
4) один из выводов: если сайт проверяет отпечаток tls, то указывать на старый движок новый юзерагент означает сразу спалится. Думаю понятно, про что я.

Tls отпечаток метод достаточно грубый, из рубрики да/нет. Но если да, то однозначный.

Вообще по условиям конкурса автор статьи должен заниматься ликбезом.

 

[zmike]

Спасибо

 

[Zhekaz]

Давно и по сей день cUrl юзаю, тоже благодаря конкурсной статье познакомился с ним. И способ из этой темы опробовал, тоже рабочий.
Вообще благодаря таким статьям для меня зенка до сих пор на плаву, ибо разрабы её уже давно похоронили

 

[Zedx]

Cloudflare ставит куку cf_clearance после прохождения челленджа, которая необходима для дальнейшей работы чтобы не блокировалось содержимое. Т.е. получается нужно каким-то образом пройти этот челлендж

 

[Asmus003]

Cloudflare ставит куку cf_clearance после прохождения челленджа, которая необходима для дальнейшей работы чтобы не блокировалось содержимое. Т.е. получается нужно каким-то образом пройти этот челлендж

скажи, а запросах если клауд при регистрации, его никак не пройти вообще?

 

[Zedx]

скажи, а запросах если клауд при регистрации, его никак не пройти вообще?

Я так понял, что cloudflare может поставить дополнительную защиту в виде куки cf_clearance, как описано у них в документации

Challenge Passage · Cloudflare Fundamentals docs

When a visitor solves a Cloudflare challenge - as part of a WAF custom rule or IP Access rule - you can set the Challenge Passage to prevent them from having to solve future challenges for a specified period of time.

developers.cloudflare.com

И если эта проверка используется, то нужно искать как это дополнительно обойти, но может и не использоваться - нужно проверять каждый конкретный сайт

 

[heks]

У меня только один вопрос: а чем вам курл не угодил? Обычный, системный, сразу в комплекте с виндой 10, пример post запроса, который под рукой:
curl -v -X POST "https://example.com/api/submit" \
--http2 \
--tlsv1.3 \
--tls-max 1.3 \
--ciphers "TLS_AES_128_GCM_SHA256:TLS_AES_256_GCM_SHA384:TLS_CHACHA20_POLY1305_SHA256:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256" \
-H "Host: example.com" \
-H "Connection: keep-alive" \
-H "Content-Length: 43" \
-H "sec-ch-ua: \"Google Chrome\";v=\"125\", \"Chromium\";v=\"125\", \"Not.A/Brand\";v=\"24\"" \
-H "sec-ch-ua-mobile: ?0" \
-H "sec-ch-ua-platform: \"Windows\"" \
-H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36" \
-H "Content-Type: application/json" \
-H "Accept: application/json, text/plain, */*" \
-H "Origin: https://example.com" \
-H "Sec-Fetch-Site: same-origin" \
-H "Sec-Fetch-Mode: cors" \
-H "Sec-Fetch-Dest: empty" \
-H "Referer: https://example.com/form" \
-H "Accept-Encoding: gzip, deflate, br, zstd" \
-H "Accept-Language: en-US,en;q=0.9" \
--cookie "session_id=abc123; csrf_token=xyz456" \
--data-raw '{"username":"testuser","action":"submit"}'

Чего я не понимаю? Зачем вам велосипеды?

Можно докопаться, что Курл не поддерживает http3, но горячо любимый надзор за пределы этой страны его и так не пускает. Да и много кто еще. Утвеждаете, что сидите в Европке, из РФ за проксей - получите детект. Но это из другой оперы, вне сабжа этой статьи.


Что, счас опять начнется, "Вау, а что, так можно было?"
Победа в конкурсе, говорите...
Вы бы изучили возможности того, что у вас уже есть под капотом.

P.s. зарекся же серьезные темы сюда вбрасывать...

Следующую тогда статью ждем от тебя с примерами шаблонов работающими с куками и проксями

 

[BblTPE3BUTEJlb]

Следующую тогда статью ждем от тебя с примерами шаблонов работающими с куками и проксями

На самом деле даже браузер постера отличается заголовками от обычного хрома, а так же их последовательностью.
Решение, которое ты прокидываешь на слабо, гораздо более объемное, и универсальное. Причины его показывать всем за просто так ваще не вижу.
Кроме того, сложность понимания - сильно выше среднего.
Потом, подумай: через месяц-два толпа школьников научится шифровать свои боты так, что их можно будет спалить только яваскриптовыми чекалками. Что послужит катализатором их развития.
Оно тебе надо?

 

[Asmus003]

Я так понял, что cloudflare может поставить дополнительную защиту в виде куки cf_clearance, как описано у них в документации

Challenge Passage · Cloudflare Fundamentals docs

When a visitor solves a Cloudflare challenge - as part of a WAF custom rule or IP Access rule - you can set the Challenge Passage to prevent them from having to solve future challenges for a specified period of time.

developers.cloudflare.com

И если эта проверка используется, то нужно искать как это дополнительно обойти, но может и не использоваться - нужно проверять каждый конкретный сайт

а если не испульзуется, то можно на запросах через рукапчу/ее аналоги получить токен и регаться? кхм, спасибо за наводку. автор, ты лучший голос был за тебя, классные статьи, уже 2 конкурса подряд.

 

[heks]

На самом деле даже браузер постера отличается заголовками от обычного хрома, а так же их последовательностью.
Решение, которое ты прокидываешь на слабо, гораздо более объемное, и универсальное. Причины его показывать всем за просто так ваще не вижу.
Кроме того, сложность понимания - сильно выше среднего.
Потом, подумай: через месяц-два толпа школьников научится шифровать свои боты так, что их можно будет спалить только яваскриптовыми чекалками. Что послужит катализатором их развития.
Оно тебе надо?

Не на слабо а просто если есть какие то наработки и что не жалко можно выложить.

 

[BblTPE3BUTEJlb]

Не на слабо а просто если есть какие то наработки и что не жалко можно выложить.

Конкретно я заморочился на подъеме локального вебсервера на связке php + curl, который работал прослойкой. Это не совсем прокси, так как я допиливал кодом на php запросы в курл. Но функция именно такая. Курл обычный, без примочек. Параметры прокси так же закидывались на этот сервак, что бы все последующие запросы запросы использовали только его, и закреплялись за контейнером.

Все это поднималось на туевой куче проксмоксов в виде отдельных систем.

Штук 100 полноценных виндоус с зенобоксами, и 100 контейнеров LAMP c таким прокси.

В файл хост прописывался целевой домен с указанием IP локального прокси, который перекидывал курлом запрос вовне. Каждая виртуалка кидала запросы в свой веб прокси.

В результате подделать список поддерживаемых шифров - как два пальца об асфальт. Заголовки браузера - аналогично. Проблема могла возникнуть с набором перечня поддерживаемых эллиптических кривых, конкретно порядок их следования, но моя цель на это дело болт положила в плане защиты.

Разумеется, мало какой сервак в состоянии удержать такой зоопарк систем онлайн. Поэтому в нужный момент постер запускал нужную виртуалку+ контейнер командой по SSH на проксмокс, и так же гасил их после нужных мне действий.

Пробивается почти примерно все. Если юзать CIF, то поменьше. Если Фаерфокс (разумеется указав современные юзер агенты), то внезапно, опять много, так как его никто не умеет ловить.

А еще я у зенны хер знает сколько времени назад просил зенобокс в один поток, ну пусть за 2-3 бакса. Для моих предыдущих "железных" экспереминтов, и таких, как описанный. Потому что по 10 баксов, сцуко, дорого!

Теперь вопрос: кто понял хотя бы половину из вышенаписанного? Тут народ от моргающего терминала Линукса в панический ужас впадает.

Считаю вообще бесполезным выкладывать такой кейс, ввиду крайней низкой общей IT подготовкой большинства юзверей зенопостера.

Шлите лучше письма, это проще

 

[heks]

ебааа ты заморочился конечно. Без бутылки тут точно не обошлось

 

[Dmitrybyapple]

Конкретно я заморочился на подъеме локального вебсервера на связке php + curl, который работал прослойкой. Это не совсем прокси, так как я допиливал кодом на php запросы в курл. Но функция именно такая. Курл обычный, без примочек. Параметры прокси так же закидывались на этот сервак, что бы все последующие запросы запросы использовали только его, и закреплялись за контейнером.

Все это поднималось на туевой куче проксмоксов в виде отдельных систем.

Штук 100 полноценных виндоус с зенобоксами, и 100 контейнеров LAMP c таким прокси.

В файл хост прописывался целевой домен с указанием IP локального прокси, который перекидывал курлом запрос вовне. Каждая виртуалка кидала запросы в свой веб прокси.

В результате подделать список поддерживаемых шифров - как два пальца об асфальт. Заголовки браузера - аналогично. Проблема могла возникнуть с набором перечня поддерживаемых эллиптических кривых, конкретно порядок их следования, но моя цель на это дело болт положила в плане защиты.

Разумеется, мало какой сервак в состоянии удержать такой зоопарк систем онлайн. Поэтому в нужный момент постер запускал нужную виртуалку+ контейнер командой по SSH на проксмокс, и так же гасил их после нужных мне действий.

Пробивается почти примерно все. Если юзать CIF, то поменьше. Если Фаерфокс (разумеется указав современные юзер агенты), то внезапно, опять много, так как его никто не умеет ловить.

А еще я у зенны хер знает сколько времени назад просил зенобокс в один поток, ну пусть за 2-3 бакса. Для моих предыдущих "железных" экспереминтов, и таких, как описанный. Потому что по 10 баксов, сцуко, дорого!

Теперь вопрос: кто понял хотя бы половину из вышенаписанного? Тут народ от моргающего терминала Линукса в панический ужас впадает.

Считаю вообще бесполезным выкладывать такой кейс, ввиду крайней низкой общей IT подготовкой большинства юзверей зенопостера.

Шлите лучше письма, это проще

Звучит круто, спасибо, можешь подсказать через курл что именно подменял кроме шрифтов? Обязательно потестирую, единственное с курлом работал давно и тлс там не подменял. По идее уже этот пост можно считать статьей

 

[Dmitrybyapple]

ебааа ты заморочился конечно. Без бутылки тут точно не обошлось

Нынче такое не считается извращением

 

[Manfredman]

Конкретно я заморочился на подъеме локального вебсервера

Не проще на питоне сервер поднять, например использовать библиотеку Pycurl, и слать из зенки запрос с куками проксями и заголовками?

 

[Dmitrybyapple]

Не проще на питоне сервер поднять, например использовать библиотеку Pycurl, и слать из зенки запрос с куками проксями и заголовками?

Вроде как по сетевым параметрам могут спалить, а наличие полной системы дает возможность и это обойти

 

[BblTPE3BUTEJlb]

Меня вообще кто-то понял. Ну уже неплохо.

ебааа ты заморочился конечно. Без бутылки тут точно не обошлось

Ты сначала попробуй с бутылкой хотя бы вершки Линукса освоить. Тут не ты выбираешь систему. Она должна выбрать тебя.

Звучит круто, спасибо, можешь подсказать через курл что именно подменял кроме шрифтов? Обязательно потестирую, единственное с курлом работал давно и тлс там не подменял. По идее уже этот пост можно считать статьей

Шрифты это не про курл) шрифты я на виртуалках реальным софтом офисным разбавлял и акробат ридером. Разные версии самой винды и разные языки в системе тоже нормально заходят.

Tls 1.3, набор шифров, вообще все заголовки браузера, прокси через курл, куки ессно.
Пэха ловила запрос и преобразовывала его в нужный пост или гет, а так же тип данных подкручивала. Затем ловился ответ в переменную, плохие яваскрипты делались хорошими, и все это только после этого позволялось сожраться браузеру постера. Но в части скриптов я очень любитель. Ищите Ежа.
Вообще, вполне покатывает, например, на последнем хромиуме пройти регу, потушить браузер и перейти на CIF.
Есть приблуда на курл, которая полностью эмулирует браузеры, но она давно не обновлялась. Потому не пробовал.

Не проще на питоне сервер поднять, например использовать библиотеку Pycurl, и слать из зенки запрос с куками проксями и заголовками?

Проще поставить курл, и на ехе просто параметры кидать. Если вы полностью расковыряете деятельность явасриптов и их запросы. А если с этим есть затруднения, то:
Стоковые заголовки не всегда корректные, а если ты cif за новый хромиум выдаешь, то как ты вообще это сделаешь? Или фаерфокс?
Потом питон я не знаю, и не намерен. Потому что за библа - я х.з.
Тут не просто про пост-гет. Тут про то, как браузер постера разобрать нахрен по состовляющим, так, что бы сам браузер все таки остался, а запросы явасриптовые летали на автомате.
С поддерживаемыми нормальным хромом плюшками типа tls 1.3 и, при желании, http3 (правда я вырубал этот протокол, и в моем случае все ок).

Нынче такое не считается извращением

В принципе, система на гипервизоре палится гораздо меньше, чем на виртуалке для ос, поверх. Но при желании, и она. Просто тенденция антифрода ушла в сторону анализа самих аков. И их поведения.

 

[Dmitrybyapple]

Меня вообще кто-то понял. Ну уже неплохо.



Ты сначала попробуй с бутылкой хотя бы вершки Линукса освоить. Тут не ты выбираешь систему. Она должна выбрать тебя.



Шрифты это не про курл) шрифты я на виртуалках реальным софтом офисным разбавлял и акробат ридером. Разные версии самой винды и разные языки в системе тоже нормально заходят.

Tls 1.3, набор шифров, вообще все заголовки браузера, прокси через курл, куки ессно.
Пэха ловила запрос и преобразовывала его в нужный пост или гет, а так же тип данных подкручивала. Затем ловился ответ в переменную, плохие яваскрипты делались хорошими, и все это только после этого позволялось сожраться браузеру постера. Но в части скриптов я очень любитель. Ищите Ежа.
Вообще, вполне покатывает, например, на последнем хромиуме пройти регу, потушить браузер и перейти на CIF.
Есть приблуда на курл, которая полностью эмулирует браузеры, но она давно не обновлялась. Потому не пробовал.



Проще поставить курл, и на ехе просто параметры кидать. Если вы полностью расковыряете деятельность явасриптов и их запросы. А если с этим есть затруднения, то:
Стоковые заголовки не всегда корректные, а если ты cif за новый хромиум выдаешь, то как ты вообще это сделаешь? Или фаерфокс?
Потом питон я не знаю, и не намерен. Потому что за библа - я х.з.
Тут не просто про пост-гет. Тут про то, как браузер постера разобрать нахрен по состовляющим, так, что бы сам браузер все таки остался, а запросы явасриптовые летали на автомате.
С поддерживаемыми нормальным хромом плюшками типа tls 1.3 и, при желании, http3 (правда я вырубал этот протокол, и в моем случае все ок).


В принципе, система на гипервизоре палится гораздо меньше, чем на виртуалке для ос, поверх. Но при желании, и она. Просто тенденция антифрода ушла в сторону анализа самих аков. И их поведения.

спасибо полезно, прям интрига потестить поскорее, за проксмокс отдельное спасибо, видел его но как-то упустил из виду, очень приятно пообщаться о таких серьезных темах, а то инфы не так много, реальный разговор с тем у кого настроена работа это ммм как полезно, еще раз спасибо, сам лично столько всего перетестил для обхода TLs, из моих наработок я бы эту тему оптимизировал через работу с CDP, хотя если FF меньше палят лучше посмотреть туда

 

[BblTPE3BUTEJlb]

Комрады, много вопросов валит мне в личку. Вплоть до каких сайтов и какие защиты проходит.
Не знаю я всего. Берите, делайте, проверяйте...
У нас в конторе в 22 году, когды был принят закон об ответственности банков за мошеннические потери, была сформирована команда, которая занималась цифровыми профилями, защитой интернет систем и атифродом. А я ломал их защиту, используя в т.ч. наработки на постере.
Получалось не всегда. Тогда я шел и спрашивал, как защищаются. Когда была конкретика, защита ломалась всегда. Потом следующий круг. Следующий...
Это не совсем те условия, в которых вы работаете с сайтами. Все сильно быстрее. Но внезапно оказалось, что разработчики других систем защищают свои сайты так же, т.е. ход мыслей идентичный, идеи те же.
Из интересного, мы закидывали наши подставные данные в сливы баз, и тестировали при случае на реальных мошенниках, изображая терпил. Они не слишком продвинутые, мы все успешно отлавливали.
А потом в 23 году юристы нашли путь, как все таки повесить расходы на терпил, и проект встал. Команда разбежалась.
А наработки остались.
Такие дела.