Обход TLS отпечатков при работе через Post/Get для Akamai и Cloudflare и для других сайтов
- Автор темы Dmitrybyapple
- Дата начала
samsonnn
Client
- Регистрация
- 02.06.2015
- Сообщения
- 2 016
- Благодарностей
- 1 796
- Баллы
- 113
И в чем была проблема? Как решали? Может когда то еще у кого то будет аналогичная проблема, неплохо бы решение для нащадков оставить.
Вопрос снят. Разобрался
Заголовок должен обязательно в верхнем регистре ProxyUrl": "http://логин:пароль@ip:port". По формату прокси, работает и без указания протокола логин:пароль@ip:port". И если посмотреть в зенке запрос в трафике, прокси не передаются, но по проверки на 2ip.ru, ip прокси корректно отображается.
Ребят, подскажите пожалуйста, проблема возникает с начала первого запроса (дело не в сайте) и выполняется только в один поток. Чтобы запрос прошёл без ошибки, нужно перезапускать tls.exe, иначе так и не выполнится запрос. А при успешном выполнении запроса, в дальнейшей работе проблем нет. В многопотоке не работает из-за этой ошибки.
Вложения
Вот по данной теме что умеет голанг https://github.com/refraction-networking/utls/blob/master/u_parrots.go , по сути можно как прокси клиент написать, и крутить конфигами как надо. Но поддерживает только до http2.
Подскажите пожалуйста, не могу найти где вы писали как сменить отпечаток для стандартного браузера постера. Меня палят только по отпечатку, с решением из этой статьи все работает, но есть проблема, что это решение через несколько часов многопоточной работы кладет сервер mysql работающий на этом же компьютере. Решение через курл вероятно даст один отпечаток и через время опять приведет к блоку. Подскажите пожалуйста, как сменить отпечаток стандартного браузера постера или курла
BblTPE3BUTEJlb
Client
- Регистрация
- 04.09.2014
- Сообщения
- 609
- Благодарностей
- 850
- Баллы
- 93
Я не помню конкретную команду. Спроси любую нейронку, как запретить браузеру использовать какой-нибудь конкретный шифр. Соответственно, исключение шифра меняет отпечаток. И делает тебя белой вороной.
Зачем это тебе - я х.з.
Работаю на запросах, несколько тысяч запросов с одним отпечатком приводят к js проверке для всех дальнейших запросов отправленных этим отпечатком (ЧС по отпечатку видимо), смена отпечатков позволяет это избежать. Спасибо попробую разобраться... А на курле возможно менять?
Последнее редактирование:
Либо может есть решение у кого-то. САБЖевая тема спустя 5-6 часов плотной работы в многопотоке кладет сервак OpenServer (в частности mysql едва шевелиться начинает) на том же компьютере, где трудится Зенно. Помогает перезапуск сабжевого приложения... Порты разные, почему так происходит не знаю...
zarufakis
Client
- Регистрация
- 22.03.2019
- Сообщения
- 1 967
- Благодарностей
- 1 375
- Баллы
- 113
Поставь мускул на линукс. С виндовым постоянно такие проблемы, на больших потоках ссыкуль падает.
Тут либо:
- виртулка на локале
- копеечный впс поближе с установленным MySQL
- либо, облачная база DBAAS
zarufakis
Client
- Регистрация
- 22.03.2019
- Сообщения
- 1 967
- Благодарностей
- 1 375
- Баллы
- 113
BblTPE3BUTEJlb
Client
- Регистрация
- 04.09.2014
- Сообщения
- 609
- Благодарностей
- 850
- Баллы
- 93
Ты видимо не усек суть. Это команда для запуска хрома. Тогда отпечаток действительно меняется, наоборот уводя тебя в сторону от толпы, у которой все по дефолту.
Если речь про запросы, то это совсем другая история. Готового решения, как переделать курл один в один, лично у меня нет. Сделать похожим - да, можно. Идентичным - нет, нужны другие варианты.
Я имею ввиду ja3 отпечаток, у меня он везде разный на устройствах и браузерах, чек https://check.ja3.zone/ . Логично, что самая простейшая система сочтет подозрительным что один отпечаток оставил десятки тысяч запросов за сутки и будет направлять его на js проверку. При этом любые другие пропускает, даже подозрительные по всем параметрам. И в таком случае белые вороны отлично делают запросы, а самые популярные отпечатки того же Chrome проходят js проверку. Поэтому САБЖ и отлично работает, а ja3 отпечаток курла если не понять как его менять, у меня также улетит в блок менее чем через сутки. В моем случае даже бы подошел вариант ротации из нескольких десятков реальных ja3 отпечатков.
Подскажите пожалуйста, у вас на Линуксе пашет этот прокси? У меня на винде на двух компьютерах пробовал, оба начинают чудить через 4-6 часов плотной работы... Пробовал сохранять одну сессию внутри проекта - получил глюки почти сразу, пробовал рандомную сессию на каждый запрос или вообще убрать этот пункт из запроса = 4-6 часов работает отлично, потом начинает не отвечать на запросы. Перезапуск приложения из САБЖ помогает моментально решить проблему.
Bas
Client
- Регистрация
- 15.12.2013
- Сообщения
- 641
- Благодарностей
- 264
- Баллы
- 63
https://bogdanfinn.gitbook.io/open-source-oasis/shared-library/memory-issues думаю здесь причина и решение Вашей проблемы.
BblTPE3BUTEJlb
Client
- Регистрация
- 04.09.2014
- Сообщения
- 609
- Благодарностей
- 850
- Баллы
- 93
Господа, держите немного актуальной инфы по вопросу, просто для вашего понимания, почему вы начинаете, например, регать профили, сначала все нормально, но на объемах начинает быстро резать.
Отпечаток TLS Хром формирует в т.ч. с учетом TLS расширений. Вот этих:
В чем суть. Каждый раз список формируется рандомно, последовательность разная. А это значит, что строка отпечатка - хеш функции, тоже будет в общем случае рандомной.
В сумме это дает 400кк вариантов, когда я последний раз считал. Что в общем случае оставляет вариацию на повторы в масштабах всего Интернета, но случаи это единичные. Сделано это специально, как раз для ухода от фингерпринтинга.
Когда вы используете решения аналогичные представленному здесь, это отголоски дней минувших, когда ловились отдельные плохие хеши (просто Post-Get постера, старые браузеры, курл с одинаковым набором параметров, и т.п.), все это формирует одинаковый постоянный отпечаток. На все свои боты. Вы меняли отпечаток на другой, и все начинало работать! Но теперь все не так. Долбить одним отпечатком стало бесполезно. Что любой адекватный антифрод ловит как аномалию, и вся ваша пачка улетает в шлак.
Полагаю, теперь понятно, почему оно вдруг перестало работать.
Что с этим делать - решайте сами. Меня спрашивать не надо, я на запросах решением не обладаю.
Отпечаток TLS Хром формирует в т.ч. с учетом TLS расширений. Вот этих:
В чем суть. Каждый раз список формируется рандомно, последовательность разная. А это значит, что строка отпечатка - хеш функции, тоже будет в общем случае рандомной.
В сумме это дает 400кк вариантов, когда я последний раз считал. Что в общем случае оставляет вариацию на повторы в масштабах всего Интернета, но случаи это единичные. Сделано это специально, как раз для ухода от фингерпринтинга.
Когда вы используете решения аналогичные представленному здесь, это отголоски дней минувших, когда ловились отдельные плохие хеши (просто Post-Get постера, старые браузеры, курл с одинаковым набором параметров, и т.п.), все это формирует одинаковый постоянный отпечаток. На все свои боты. Вы меняли отпечаток на другой, и все начинало работать! Но теперь все не так. Долбить одним отпечатком стало бесполезно. Что любой адекватный антифрод ловит как аномалию, и вся ваша пачка улетает в шлак.
Полагаю, теперь понятно, почему оно вдруг перестало работать.
Что с этим делать - решайте сами. Меня спрашивать не надо, я на запросах решением не обладаю.