Вопросы по генерации профилей

[Moonwalker]

Всем привет.
Хочется уже окончательно для себя прояснить несколько вопросов, поэтому попробую уточнить ))

1. Насколько помню, при генерации профиля данные зенка каждый раз запрашивает с Зеннолаба? Т.е., мы, условно, черпаем данные с общей базы, которая, надеемся (тут реально надеемся, поскольку есть сомнения некоторые), периодически обновляется?

2. Если выбрать версию браузера для профиля "Актуальные", то они будут как-то ограничены движком версии, который используется? Условно, если старый CEF на старый версиях Зенки, с версией браузера выше профиль не сгенерится же?

3. Если данные для генерации запрашиваются извне, то насколько важно, допустим, на какой версии писался шаблон/генератор и, главное, на какой он запускается? Допустим, генератор написан на версии 7.3.2.1, но запускается на версии 7.7.0. В блоке "Браузер" выбрано, чтобы версия браузера бралась актуальная. Вопрос: она будет актуальная для кого? Для версии 7.3.2.1, на которой писался шаб, или для версии 7.7.0, на которой его запускали?

4. У вас в базе браузеры и устройства в базе как-то связаны, что ли? Сейчас ради интереса сгенерил 100 мобильных профилей с Chrome Based. Потом отобрал из них профили с Яндекс.Браузером. Бог с ним, что версия браузера везде одна и та же (хотя, актуальная - не всегда означает, что прямо последняя), но ВСЕ 23 профиля на одном устройстве!!! Абсолютно все профили:

Mozilla/5.0 (Linux; arm_64; Android 12; M2101K6G) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.125 YaBrowser/22.7.0.144.00 SA/3 Mobile Safari/537.36

Сделал выборку по другому устройству. Та же картина. У всех одинаковых устройств - одна и та же версия браузера. До последней цифры.

Mozilla/5.0 (Linux; Android 10; SM-A505FN) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Mobile Safari/537.36


Может, кто-нибудь из Зеннолаба появится и объяснит логику, по которой генерятся профили, откуда они берут данные, по какой логике берут, как эта база вообще пополняется (если в принципе пополняется). Я думаю, многим было бы интересно узнать, что там "под капотом" )) Я именно про решение по генерации "из коробки", которое заложено в Зеннопостер.

 

[Phoenix78]

2. Если выбрать версию браузера для профиля "Актуальные", то они будут как-то ограничены движком версии, который используется? Условно, если старый CEF на старый версиях Зенки, с версией браузера выше профиль не сгенерится же?

Еще как сгенериться. Зря что ли люди столько времени ограничивали версию браузера, для логина в гугл

3. Если данные для генерации запрашиваются извне, то насколько важно, допустим, на какой версии писался шаблон/генератор и, главное, на какой он запускается? Допустим, генератор написан на версии 7.3.2.1, но запускается на версии 7.7.0. В блоке "Браузер" выбрано, чтобы версия браузера бралась актуальная. Вопрос: она будет актуальная для кого? Для версии 7.3.2.1, на которой писался шаб, или для версии 7.7.0, на которой его запускали?

Последнюю из базы зеннолаба подтянет. нет там никакой проверки на версию зенки. самый простой рандом из нескольких последних юзерагентов.

Вообще всем интересно, но никто не расскажет. Коммерческая тайна

Если цель сделать нормальную генерацию профилей, то это не этому функционалу надо обращаться, а самому полностью разобраться и генерить по своему алгоритму. Из коробки генериться массово средне статичный профиль, более менее подходящий для большинства средне статических сайтов.

 

[Moonwalker]

Если цель сделать нормальную генерацию профилей, то это не этому функционалу надо обращаться, а самому полностью разобраться и генерить по своему алгоритму.

Это не обсуждается даже. Но хочется понять логику и "базу", которая есть сейчас )))

 

[Moonwalker]

Сгенерил ради интереса 1000 профилей андроид+хром (версия браузера выбрана "актуальные").
На выходе - всего 33 уникальные связки устройство+версия браузера.
И всего 16 устройств разных (включая разные Redmi Note 5, Redmi Note 7 и прочие, 9 Pro двухлетней давности - самый современный).
На 1000 профилей. С разнообразием проблемы явные )))
Может, кинуть клич по юзерам? Мы сами вам базу актуализируем и расширим, если в ней такие проблемы ))

 

[zarufakis]

Что мешает тебе создать свой список необходимых тебе юзерагентов и делать подмену кубиком?

 

[Moonwalker]

Мы не обсуждаем сейчас, что можно сделать самому (к слову, в том числе, и вообще без зенки) ))) Я уже не говорю о том, что если не на запросах работать, а через браузер, то одна замена UA - это не решение, там несколько параметров менять надо, некоторые из которых тоже собирать надо по устройствам (типа того же разрешения).
В конце концов, мы же пишем зеннолабу, условно, если мышка не туда кликает, или по каким-то другим проблемам Зенки, хотя в 99% можно решить проблему своими костылями или вообще другими программами ))
Вопрос в том, что в изначально заявленном функционале "из коробки" есть проблема.

 

[Fedor5588]

Мы не обсуждаем сейчас, что можно сделать самому (к слову, в том числе, и вообще без зенки) ))) Я уже не говорю о том, что если не на запросах работать, а через браузер, то одна замена UA - это не решение, там несколько параметров менять надо, некоторые из которых тоже собирать надо по устройствам (типа того же разрешения).
В конце концов, мы же пишем зеннолабу, условно, если мышка не туда кликает, или по каким-то другим проблемам Зенки, хотя в 99% можно решить проблему своими костылями или вообще другими программами ))
Вопрос в том, что в изначально заявленном функционале "из коробки" есть проблема.

В чем заключается проблема? мало отпечатков?

 

[Moonwalker]

В чем заключается проблема? мало отпечатков?

Ну, как по мне, всего 16 устройств на 1000 профилей, это да, мало (даже связок устройство+версия браузера всего 33) ))) Более того, в первом посте в 4-м пункте описывал, все профили определенного браузера (Яндекс.Браузер, еще и одной и той же версии) были сгенерированы на одно и то же устройство. Возможно, проблема не только с небольшой базой, но и в целом с рандомизацией.

 

[Fedor5588]

Ну, как по мне, всего 16 устройств на 1000 профилей, это да, мало (даже связок устройство+версия браузера всего 33) ))) Более того, в первом посте в 4-м пункте описывал, все профили определенного браузера (Яндекс.Браузер, еще и одной и той же версии) были сгенерированы на одно и то же устройство. Возможно, проблема не только с небольшой базой, но и в целом с рандомизацией.

Я просто насколько помню с момента появления этой генерации там было +- столько отпечатков, как раз что то около 30-40. Для автоматизации вполне пойдет. Для анонимности, конечно нет.

 

[Moonwalker]

Ну тогда вопрос к разрабам, что-нить в этом направлении планируется делать или нет? ))
@VladZen @sergodjan66 есть, что сказать? )) Просто даже для того, чтобы понимать, есть смысл ждать людям или нет ))

 

[Moonwalker]

Решил ради интереса выборку увеличить, нагенерил 10к профилей мобильных андроидных чисто на хроме, для чистоты эксперимента ))
В общем, те же 33 уникальных UA с учетом устройств, те же 16 уникальных телефонов.

 

[p-sergei]

да уж, если бы не автор, думал бы что в этом месте тылы надежно прикрыты
а так получается -

 

[Moonwalker]

Ну, я в целом как бы особых иллюзий не питал, что тут все прямо идеально. Но не думал, что реально такая малая выборка )) Теперь понял, что придется парсить откуда-нибудь, менять в профилях инфу (там тоже не совсем линейно все, одной сменой UA не обойтись), писать свои какие-то расширенные и углубленные генераторы )))

 

[p-sergei]

Я с коллегами сокрушаюсь где-то в соседней теме что Яндекс к чертям начал кидать всех ботов в роботы. Если вся толпа Зенноводов сидит на вот этом "многообразии профилей", то как-бы ежу понятно, что даже если только вот таких пользователей вычищать, то можно засчитать победу Яндексу над Зенкой.
Если самому менять, то там же да, куча каких-то объектов браузера которые надо менять одновременно с подменой UA, в этом то и проблема.

 

[Moonwalker]

Видел тему, сами в курсе (при этом, к слову, пока эта роботность не влияет на результат работы)... Поэтому и полез разбираться ))) Решил начать с самого начала. И очень удивился ))

 

[ledsan]

Ну со шрифтами более менее понятно как сейчас делать что бы отпечаток рандомизировать.
Но и тут возникает вопрос, если для винды скачал пак шрифтов, тусуй и будет тебе счастье то как быть с мобильными устройствами?

 

[ledsan]

Канвас, вебгл, аудио, плагины, мультимедиа периферия как с этим быть?
Ваще ума не приложу.
Все больше и больше сайтов которые жрать уникальные значения отказываются (((

 

[FastSpace]

Ребята, это вы только верхушку айсберга увидели

 

[mdsdeal]

Я с коллегами сокрушаюсь где-то в соседней теме что Яндекс к чертям начал кидать всех ботов в роботы. Если вся толпа Зенноводов сидит на вот этом "многообразии профилей", то как-бы ежу понятно, что даже если только вот таких пользователей вычищать, то можно засчитать победу Яндексу над Зенкой.
Если самому менять, то там же да, куча каких-то объектов браузера которые надо менять одновременно с подменой UA, в этом то и проблема.

А какие объекты браузера вообще менять еще приходится?
1) UA: (линукс - мобилки, винда - десктоп; ОС; устройство; Браузер; версия)
2) Разрешение дисплея в зависимости от устройства
А еще что?

 

[ledsan]

Ребята, это вы только верхушку айсберга увидели

такое ощущение складывается, покупка зеннки была поспешной ошибкой, да много чего нового узнал разбираясь с ней, несколько полезных фичей сделал для себя на ней.
Но что то серьезное делать на ней такое себе удовольствие.
На той неделе надо было 100 почт гугла, набросал шаблон, запустил на стадии ввода номера постоянно одно и тоже "Номер не может быть использован" пробовал на смсхабе, 5сим, ваще не хочет принимать номер.
Беру номер который не берет и пробую руками регнуть через телефон и о чудо с первого раза хавает и отправляет верификационный код.
Короче так не одной почты и не регнул зенкой((

 

[ledsan]

А какие объекты браузера вообще менять еще приходится?
UA: (линукс - мобилки, винда - десктоп; ОС; устройство; Браузер; версия), а еще что?

Юзер агент нет проблем тупо заменить, проблема в другом палят не по юзер агенту а по отпечаткам железа, канвас, плагины, вебгл.
Как выяснилось набор этих отпечатков в зенопостере крайне скудный думаю не более 10 вариантов на весь дружный коллектив зеннопостера.

 

[mdsdeal]

Юзер агент нет проблем тупо заменить, проблема в другом палят не по юзер агенту а по отпечаткам железа, канвас, плагины, вебгл.
Как выяснилось набор этих отпечатков в зенопостере крайне скудный думаю не более 10 вариантов на весь дружный коллектив зеннопостера.

Я не очень разбираюсь в технических моментах, но если изменять версию браузера, устройство, разрешение, то не должен ли отпечаток тоже меняться автоматически, т.е. хэш?

 

[ledsan]

Я не очень разбираюсь в технических моментах, но если изменять версию браузера, устройство, разрешение, то не должен ли отпечаток тоже меняться автоматически, т.е. хэш?

Отпечатков основных несколько, вчера написал небольшой тестовый шаблон для того что бы понять насколько рандомно зенка профиля делает и выяснить большой ли набор отпечатков.
В результате получилось что отпечатков в зенке думаю до 10 устройств.
Вот глянь в блокноте 100 профилей

 

[ledsan]

Я не очень разбираюсь в технических моментах, но если изменять версию браузера, устройство, разрешение, то не должен ли отпечаток тоже меняться автоматически, т.е. хэш?

Проще будет наверное так сказать

отпечаток канвас, сервис нам говорит, что данный отпечаток этому сервису встретился 1821 раз на 901 701 пользователей.
А теперь представь когда в зенке 6-10 этих отпечатков и ты гоняешь шаблон, сервису наверное покажется немного странным, что одни и те же хеши через чур часто встречаются.

 

[mdsdeal]

Отпечатков основных несколько, вчера написал небольшой тестовый шаблон для того что бы понять насколько рандомно зенка профиля делает и выяснить большой ли набор отпечатков.
В результате получилось что отпечатков в зенке думаю до 10 устройств.
Вот глянь в блокноте 100 профилей

Да, посмотрел, в плагинах вообще 1 строка одинаковая везде.

 

[mdsdeal]

Проще будет наверное так сказать
Посмотреть вложение 93854
отпечаток канвас, сервис нам говорит, что данный отпечаток этому сервису встретился 1821 раз на 901 701 пользователей.
А теперь представь когда в зенке 6-10 этих отпечатков и ты гоняешь шаблон, сервису наверное покажется немного странным, что одни и те же хеши через чур часто встречаются.

Вопрос:
У реальных людей, допустим, которые используют samsung galaxy s20, chrome, мтс будут одинаковые отпечатки?

 

[ledsan]

Вопрос:
У реальных людей, допустим, которые используют samsung galaxy s20, chrome, мтс будут одинаковые отпечатки?

думаю что нет, но будет некий процент одинаковых а не так, что практически подряд одно и тоже

 

[Phoenix78]

думаю что нет, но будет некий процент одинаковых а не так, что практически подряд одно и тоже

почему нет ? что у них разное ?

 

[mdsdeal]

думаю что нет, но будет некий процент одинаковых а не так, что практически подряд одно и тоже

Т.е., по вашему мнению, уникализация UA, а именно, устройство, разрешение, ОС, версия браузера, не исправят ситуацию, хотя бы процентов на 20-30?

 

[ledsan]

почему нет ? что у них разное ?

ща ради прикола сравнил 2 телефона хуавей детям на новый год подарили (одной модели)
открывал сайт f.vision
ну так вот хеши:

webgl - одинаковые
canvas - одинаковые
plugins - нет
audio - разные
client rects - разные
fonts - разные