zarufakis
Client
- Регистрация
- 22.03.2019
- Сообщения
- 1 832
- Благодарностей
- 1 209
- Баллы
- 113
Обход TLS отпечатков при работе через Post/Get для Akamai и Cloudflare и для других сайтов
- Автор темы Dmitrybyapple
- Дата начала
heks
Client
- Регистрация
- 01.10.2013
- Сообщения
- 1 354
- Благодарностей
- 379
- Баллы
- 83
пару дней уже жду тоже. с проксями с куками post запрос нужен какая нибудь авторизация на сайте. С одним сайтом воюю но почему то не получается )))
- Регистрация
- 22.02.2015
- Сообщения
- 89
- Благодарностей
- 98
- Баллы
- 18
вот пример, GPT в помощь как под зенку переделать
Python:
const ffi = require('ffi-napi');
const fs = require("fs")
// load the tls-client shared package for your OS you are currently running your nodejs script (i'm running on mac)
const tlsClientLibrary = ffi.Library('./../dist/tls-client-darwin-amd64-1.7.2.dylib', {
'request': ['string', ['string']],
'getCookiesFromSession': ['string', ['string']],
'addCookiesToSession': ['string', ['string']],
'freeMemory': ["void", ['string']],
'destroyAll': ['string', []],
'destroySession': ['string', ['string']]
});
const requestPayload = {
"tlsClientIdentifier": "chrome_103",
"followRedirects": false,
"insecureSkipVerify": false,
"withoutCookieJar": false,
"withDefaultCookieJar": false,
"forceHttp1": false,
"withDebug": false,
"withRandomTLSExtensionOrder": false,
"isByteResponse": true,
"isByteRequest": false,
"catchPanics": false,
"timeoutSeconds": 30,
"timeoutMilliseconds": 0,
"certificatePinningHosts": {},
"proxyUrl": "",
"isRotatingProxy": false,
"headers": {
"accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
"user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36",
"accept-encoding": "gzip, deflate, br",
"accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7"
},
"headerOrder": [
"accept",
"user-agent",
"accept-encoding",
"accept-language"
],
"requestUrl": "https://avatars.githubusercontent.com/u/17678241?v=4",
"requestMethod": "GET",
"requestBody": "",
"requestCookies": []
}
// call the library with the requestPayload as string
const response = tlsClientLibrary.request(JSON.stringify(requestPayload));
// convert response string to json
const responseObject = JSON.parse(response)
const base64Data = responseObject.body.replace(/^data:image\/png;base64,/, "");
const done = fs.writeFile("./example.png", base64Data, 'base64', () => {
})
BblTPE3BUTEJlb
Client
- Регистрация
- 04.09.2014
- Сообщения
- 502
- Благодарностей
- 717
- Баллы
- 93
У меня только один вопрос: а чем вам курл не угодил? Обычный, системный, сразу в комплекте с виндой 10, пример post запроса, который под рукой:
Чего я не понимаю? Зачем вам велосипеды?
Можно докопаться, что Курл не поддерживает http3, но горячо любимый надзор за пределы этой страны его и так не пускает. Да и много кто еще. Утвеждаете, что сидите в Европке, из РФ за проксей - получите детект. Но это из другой оперы, вне сабжа этой статьи.
Что, счас опять начнется, "Вау, а что, так можно было?"
Победа в конкурсе, говорите...
Вы бы изучили возможности того, что у вас уже есть под капотом.
P.s. зарекся же серьезные темы сюда вбрасывать...
curl -v -X POST "https://example.com/api/submit" \
--http2 \
--tlsv1.3 \
--tls-max 1.3 \
--ciphers "TLS_AES_128_GCM_SHA256:TLS_AES_256_GCM_SHA384:TLS_CHACHA20_POLY1305_SHA256:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256" \
-H "Host: example.com" \
-H "Connection: keep-alive" \
-H "Content-Length: 43" \
-H "sec-ch-ua: \"Google Chrome\";v=\"125\", \"Chromium\";v=\"125\", \"Not.A/Brand\";v=\"24\"" \
-H "sec-ch-ua-mobile: ?0" \
-H "sec-ch-ua-platform: \"Windows\"" \
-H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36" \
-H "Content-Type: application/json" \
-H "Accept: application/json, text/plain, */*" \
-H "Origin: https://example.com" \
-H "Sec-Fetch-Site: same-origin" \
-H "Sec-Fetch-Mode: cors" \
-H "Sec-Fetch-Dest: empty" \
-H "Referer: https://example.com/form" \
-H "Accept-Encoding: gzip, deflate, br, zstd" \
-H "Accept-Language: en-US,en;q=0.9" \
--cookie "session_id=abc123; csrf_token=xyz456" \
--data-raw '{"username":"testuser","action":"submit"}'Чего я не понимаю? Зачем вам велосипеды?
Можно докопаться, что Курл не поддерживает http3, но горячо любимый надзор за пределы этой страны его и так не пускает. Да и много кто еще. Утвеждаете, что сидите в Европке, из РФ за проксей - получите детект. Но это из другой оперы, вне сабжа этой статьи.
Что, счас опять начнется, "Вау, а что, так можно было?"
Победа в конкурсе, говорите...
Вы бы изучили возможности того, что у вас уже есть под капотом.
P.s. зарекся же серьезные темы сюда вбрасывать...
Последнее редактирование:
BblTPE3BUTEJlb
Client
- Регистрация
- 04.09.2014
- Сообщения
- 502
- Благодарностей
- 717
- Баллы
- 93
Так в стартпосте есть теория.
Если мы говорим только в контексте tls отпечатка, то:
1) все браузеры на движке хромиум используют системную криптобиблиотеку и шифрование, т.е. отличить запрос от браузера или правильно настроеный курл - невозможно. Используется один и тот же механизм. А как работает решение из статьи - я х.з.;
2) для инфы: Браузер Фаерфокс использует все свое, и для него описанный метод имеет смысл, через курл надо подбирать аналог, и не факт, что какой-нить уникальный именно для фаерфокса шифр позволит это сделать. Модуль post-get постера юзает, вероятно, то же свою библиотеку на шарпе, давно не обновляемую. Никто и не пытался сделать из нее видимость браузера;
3) веббраузеры, встроеные в постер, это обычные браузеры на движке хромиум, в этом плане не отличающиеся от обычного. Им можно сменить отпечаток, ранее я даже писал как, но вопрос, зачем? Зачем вы хотите уйти от стандартных значений?
4) один из выводов: если сайт проверяет отпечаток tls, то указывать на старый движок новый юзерагент означает сразу спалится. Думаю понятно, про что я.
Tls отпечаток метод достаточно грубый, из рубрики да/нет. Но если да, то однозначный.
Вообще по условиям конкурса автор статьи должен заниматься ликбезом.
Последнее редактирование:
Zhekaz
Client
- Регистрация
- 14.03.2016
- Сообщения
- 107
- Благодарностей
- 54
- Баллы
- 28
Давно и по сей день cUrl юзаю, тоже благодаря конкурсной статье познакомился с ним. И способ из этой темы опробовал, тоже рабочий.
Вообще благодаря таким статьям для меня зенка до сих пор на плаву, ибо разрабы её уже давно похоронили
Вообще благодаря таким статьям для меня зенка до сих пор на плаву, ибо разрабы её уже давно похоронили
Zedx
Client
- Регистрация
- 12.06.2018
- Сообщения
- 1 409
- Благодарностей
- 962
- Баллы
- 113
Я так понял, что cloudflare может поставить дополнительную защиту в виде куки cf_clearance, как описано у них в документации
Challenge Passage · Cloudflare Fundamentals docs
When a visitor solves a Cloudflare challenge - as part of a WAF custom rule or IP Access rule - you can set the Challenge Passage to prevent them from having to solve future challenges for a specified period of time.
developers.cloudflare.com
heks
Client
- Регистрация
- 01.10.2013
- Сообщения
- 1 354
- Благодарностей
- 379
- Баллы
- 83
Следующую тогда статью ждем от тебя с примерами шаблонов работающими с куками и проксями
BblTPE3BUTEJlb
Client
- Регистрация
- 04.09.2014
- Сообщения
- 502
- Благодарностей
- 717
- Баллы
- 93
На самом деле даже браузер постера отличается заголовками от обычного хрома, а так же их последовательностью.
Решение, которое ты прокидываешь на слабо, гораздо более объемное, и универсальное. Причины его показывать всем за просто так ваще не вижу.
Кроме того, сложность понимания - сильно выше среднего.
Потом, подумай: через месяц-два толпа школьников научится шифровать свои боты так, что их можно будет спалить только яваскриптовыми чекалками. Что послужит катализатором их развития.
Оно тебе надо?
Последнее редактирование:
а если не испульзуется, то можно на запросах через рукапчу/ее аналоги получить токен и регаться? кхм, спасибо за наводку. автор, ты лучшийЯ так понял, что cloudflare может поставить дополнительную защиту в виде куки cf_clearance, как описано у них в документации
И если эта проверка используется, то нужно искать как это дополнительно обойти, но может и не использоваться - нужно проверять каждый конкретный сайтChallenge Passage · Cloudflare Fundamentals docs
When a visitor solves a Cloudflare challenge - as part of a WAF custom rule or IP Access rule - you can set the Challenge Passage to prevent them from having to solve future challenges for a specified period of time.
голос был за тебя, классные статьи, уже 2 конкурса подряд.
heks
Client
- Регистрация
- 01.10.2013
- Сообщения
- 1 354
- Благодарностей
- 379
- Баллы
- 83
Не на слабо а просто если есть какие то наработки и что не жалко можно выложить.
BblTPE3BUTEJlb
Client
- Регистрация
- 04.09.2014
- Сообщения
- 502
- Благодарностей
- 717
- Баллы
- 93
Конкретно я заморочился на подъеме локального вебсервера на связке php + curl, который работал прослойкой. Это не совсем прокси, так как я допиливал кодом на php запросы в курл. Но функция именно такая. Курл обычный, без примочек. Параметры прокси так же закидывались на этот сервак, что бы все последующие запросы запросы использовали только его, и закреплялись за контейнером.
Все это поднималось на туевой куче проксмоксов в виде отдельных систем.
Штук 100 полноценных виндоус с зенобоксами, и 100 контейнеров LAMP c таким прокси.
В файл хост прописывался целевой домен с указанием IP локального прокси, который перекидывал курлом запрос вовне. Каждая виртуалка кидала запросы в свой веб прокси.
В результате подделать список поддерживаемых шифров - как два пальца об асфальт. Заголовки браузера - аналогично. Проблема могла возникнуть с набором перечня поддерживаемых эллиптических кривых, конкретно порядок их следования, но моя цель на это дело болт положила в плане защиты.
Разумеется, мало какой сервак в состоянии удержать такой зоопарк систем онлайн. Поэтому в нужный момент постер запускал нужную виртуалку+ контейнер командой по SSH на проксмокс, и так же гасил их после нужных мне действий.
Пробивается почти примерно все. Если юзать CIF, то поменьше. Если Фаерфокс (разумеется указав современные юзер агенты), то внезапно, опять много, так как его никто не умеет ловить.
А еще я у зенны хер знает сколько времени назад просил зенобокс в один поток, ну пусть за 2-3 бакса. Для моих предыдущих "железных" экспереминтов, и таких, как описанный. Потому что по 10 баксов, сцуко, дорого!
Теперь вопрос: кто понял хотя бы половину из вышенаписанного? Тут народ от моргающего терминала Линукса в панический ужас впадает.
Считаю вообще бесполезным выкладывать такой кейс, ввиду крайней низкой общей IT подготовкой большинства юзверей зенопостера.
Шлите лучше письма, это проще
- Регистрация
- 22.02.2015
- Сообщения
- 89
- Благодарностей
- 98
- Баллы
- 18
Звучит круто, спасибо, можешь подсказать через курл что именно подменял кроме шрифтов? Обязательно потестирую, единственное с курлом работал давно и тлс там не подменял. По идее уже этот пост можно считать статьейКонкретно я заморочился на подъеме локального вебсервера на связке php + curl, который работал прослойкой. Это не совсем прокси, так как я допиливал кодом на php запросы в курл. Но функция именно такая. Курл обычный, без примочек. Параметры прокси так же закидывались на этот сервак, что бы все последующие запросы запросы использовали только его, и закреплялись за контейнером.
Все это поднималось на туевой куче проксмоксов в виде отдельных систем.
Штук 100 полноценных виндоус с зенобоксами, и 100 контейнеров LAMP c таким прокси.
В файл хост прописывался целевой домен с указанием IP локального прокси, который перекидывал курлом запрос вовне. Каждая виртуалка кидала запросы в свой веб прокси.
В результате подделать список поддерживаемых шифров - как два пальца об асфальт. Заголовки браузера - аналогично. Проблема могла возникнуть с набором перечня поддерживаемых эллиптических кривых, конкретно порядок их следования, но моя цель на это дело болт положила в плане защиты.
Разумеется, мало какой сервак в состоянии удержать такой зоопарк систем онлайн. Поэтому в нужный момент постер запускал нужную виртуалку+ контейнер командой по SSH на проксмокс, и так же гасил их после нужных мне действий.
Пробивается почти примерно все. Если юзать CIF, то поменьше. Если Фаерфокс (разумеется указав современные юзер агенты), то внезапно, опять много, так как его никто не умеет ловить.
А еще я у зенны хер знает сколько времени назад просил зенобокс в один поток, ну пусть за 2-3 бакса. Для моих предыдущих "железных" экспереминтов, и таких, как описанный. Потому что по 10 баксов, сцуко, дорого!
Теперь вопрос: кто понял хотя бы половину из вышенаписанного? Тут народ от моргающего терминала Линукса в панический ужас впадает.
Считаю вообще бесполезным выкладывать такой кейс, ввиду крайней низкой общей IT подготовкой большинства юзверей зенопостера.
Шлите лучше письма, это проще
- Регистрация
- 22.02.2015
- Сообщения
- 89
- Благодарностей
- 98
- Баллы
- 18
Нынче такое не считается извращениемебааа ты заморочился конечно. Без бутылки тут точно не обошлось
Не проще на питоне сервер поднять, например использовать библиотеку Pycurl, и слать из зенки запрос с куками проксями и заголовками?
- Регистрация
- 22.02.2015
- Сообщения
- 89
- Благодарностей
- 98
- Баллы
- 18
Вроде как по сетевым параметрам могут спалить, а наличие полной системы дает возможность и это обойти
BblTPE3BUTEJlb
Client
- Регистрация
- 04.09.2014
- Сообщения
- 502
- Благодарностей
- 717
- Баллы
- 93
Меня вообще кто-то понял. Ну уже неплохо.
Tls 1.3, набор шифров, вообще все заголовки браузера, прокси через курл, куки ессно.
Пэха ловила запрос и преобразовывала его в нужный пост или гет, а так же тип данных подкручивала. Затем ловился ответ в переменную, плохие яваскрипты делались хорошими, и все это только после этого позволялось сожраться браузеру постера. Но в части скриптов я очень любитель. Ищите Ежа.
Вообще, вполне покатывает, например, на последнем хромиуме пройти регу, потушить браузер и перейти на CIF.
Есть приблуда на курл, которая полностью эмулирует браузеры, но она давно не обновлялась. Потому не пробовал.
Стоковые заголовки не всегда корректные, а если ты cif за новый хромиум выдаешь, то как ты вообще это сделаешь? Или фаерфокс?
Потом питон я не знаю, и не намерен. Потому что за библа - я х.з.
Тут не просто про пост-гет. Тут про то, как браузер постера разобрать нахрен по состовляющим, так, что бы сам браузер все таки остался, а запросы явасриптовые летали на автомате.
С поддерживаемыми нормальным хромом плюшками типа tls 1.3 и, при желании, http3 (правда я вырубал этот протокол, и в моем случае все ок).
Ты сначала попробуй с бутылкой хотя бы вершки Линукса освоить. Тут не ты выбираешь систему. Она должна выбрать тебя.ебааа ты заморочился конечно. Без бутылки тут точно не обошлось
Шрифты это не про курл) шрифты я на виртуалках реальным софтом офисным разбавлял и акробат ридером. Разные версии самой винды и разные языки в системе тоже нормально заходят.Звучит круто, спасибо, можешь подсказать через курл что именно подменял кроме шрифтов? Обязательно потестирую, единственное с курлом работал давно и тлс там не подменял. По идее уже этот пост можно считать статьей
Tls 1.3, набор шифров, вообще все заголовки браузера, прокси через курл, куки ессно.
Пэха ловила запрос и преобразовывала его в нужный пост или гет, а так же тип данных подкручивала. Затем ловился ответ в переменную, плохие яваскрипты делались хорошими, и все это только после этого позволялось сожраться браузеру постера. Но в части скриптов я очень любитель. Ищите Ежа.
Вообще, вполне покатывает, например, на последнем хромиуме пройти регу, потушить браузер и перейти на CIF.
Есть приблуда на курл, которая полностью эмулирует браузеры, но она давно не обновлялась. Потому не пробовал.
Проще поставить курл, и на ехе просто параметры кидать. Если вы полностью расковыряете деятельность явасриптов и их запросы. А если с этим есть затруднения, то:
Стоковые заголовки не всегда корректные, а если ты cif за новый хромиум выдаешь, то как ты вообще это сделаешь? Или фаерфокс?
Потом питон я не знаю, и не намерен. Потому что за библа - я х.з.
Тут не просто про пост-гет. Тут про то, как браузер постера разобрать нахрен по состовляющим, так, что бы сам браузер все таки остался, а запросы явасриптовые летали на автомате.
С поддерживаемыми нормальным хромом плюшками типа tls 1.3 и, при желании, http3 (правда я вырубал этот протокол, и в моем случае все ок).
В принципе, система на гипервизоре палится гораздо меньше, чем на виртуалке для ос, поверх. Но при желании, и она. Просто тенденция антифрода ушла в сторону анализа самих аков. И их поведения.Нынче такое не считается извращением
- Регистрация
- 22.02.2015
- Сообщения
- 89
- Благодарностей
- 98
- Баллы
- 18
спасибо полезно, прям интрига потестить поскорее, за проксмокс отдельное спасибо, видел его но как-то упустил из виду, очень приятно пообщаться о таких серьезных темах, а то инфы не так много, реальный разговор с тем у кого настроена работа это ммм как полезно, еще раз спасибо, сам лично столько всего перетестил для обхода TLs, из моих наработок я бы эту тему оптимизировал через работу с CDP, хотя если FF меньше палят лучше посмотреть туда
Последнее редактирование:
BblTPE3BUTEJlb
Client
- Регистрация
- 04.09.2014
- Сообщения
- 502
- Благодарностей
- 717
- Баллы
- 93
Комрады, много вопросов валит мне в личку. Вплоть до каких сайтов и какие защиты проходит.
Не знаю я всего. Берите, делайте, проверяйте...
У нас в конторе в 22 году, когды был принят закон об ответственности банков за мошеннические потери, была сформирована команда, которая занималась цифровыми профилями, защитой интернет систем и атифродом. А я ломал их защиту, используя в т.ч. наработки на постере.
Получалось не всегда. Тогда я шел и спрашивал, как защищаются. Когда была конкретика, защита ломалась всегда. Потом следующий круг. Следующий...
Это не совсем те условия, в которых вы работаете с сайтами. Все сильно быстрее. Но внезапно оказалось, что разработчики других систем защищают свои сайты так же, т.е. ход мыслей идентичный, идеи те же.
Из интересного, мы закидывали наши подставные данные в сливы баз, и тестировали при случае на реальных мошенниках, изображая терпил. Они не слишком продвинутые, мы все успешно отлавливали.
А потом в 23 году юристы нашли путь, как все таки повесить расходы на терпил, и проект встал. Команда разбежалась.
А наработки остались.
Такие дела.
Не знаю я всего. Берите, делайте, проверяйте...
У нас в конторе в 22 году, когды был принят закон об ответственности банков за мошеннические потери, была сформирована команда, которая занималась цифровыми профилями, защитой интернет систем и атифродом. А я ломал их защиту, используя в т.ч. наработки на постере.
Получалось не всегда. Тогда я шел и спрашивал, как защищаются. Когда была конкретика, защита ломалась всегда. Потом следующий круг. Следующий...
Это не совсем те условия, в которых вы работаете с сайтами. Все сильно быстрее. Но внезапно оказалось, что разработчики других систем защищают свои сайты так же, т.е. ход мыслей идентичный, идеи те же.
Из интересного, мы закидывали наши подставные данные в сливы баз, и тестировали при случае на реальных мошенниках, изображая терпил. Они не слишком продвинутые, мы все успешно отлавливали.
А потом в 23 году юристы нашли путь, как все таки повесить расходы на терпил, и проект встал. Команда разбежалась.
А наработки остались.
Такие дела.
Последнее редактирование: