Вопросы по генерации профилей

Moonwalker

Client
Регистрация
16.03.2016
Сообщения
1 674
Благодарностей
1 266
Баллы
113
Всем привет.
Хочется уже окончательно для себя прояснить несколько вопросов, поэтому попробую уточнить ))

1. Насколько помню, при генерации профиля данные зенка каждый раз запрашивает с Зеннолаба? Т.е., мы, условно, черпаем данные с общей базы, которая, надеемся (тут реально надеемся, поскольку есть сомнения некоторые), периодически обновляется?

2. Если выбрать версию браузера для профиля "Актуальные", то они будут как-то ограничены движком версии, который используется? Условно, если старый CEF на старый версиях Зенки, с версией браузера выше профиль не сгенерится же?

3. Если данные для генерации запрашиваются извне, то насколько важно, допустим, на какой версии писался шаблон/генератор и, главное, на какой он запускается? Допустим, генератор написан на версии 7.3.2.1, но запускается на версии 7.7.0. В блоке "Браузер" выбрано, чтобы версия браузера бралась актуальная. Вопрос: она будет актуальная для кого? Для версии 7.3.2.1, на которой писался шаб, или для версии 7.7.0, на которой его запускали?

4. У вас в базе браузеры и устройства в базе как-то связаны, что ли? Сейчас ради интереса сгенерил 100 мобильных профилей с Chrome Based. Потом отобрал из них профили с Яндекс.Браузером. Бог с ним, что версия браузера везде одна и та же (хотя, актуальная - не всегда означает, что прямо последняя), но ВСЕ 23 профиля на одном устройстве!!! Абсолютно все профили:

Mozilla/5.0 (Linux; arm_64; Android 12; M2101K6G) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.125 YaBrowser/22.7.0.144.00 SA/3 Mobile Safari/537.36

Сделал выборку по другому устройству. Та же картина. У всех одинаковых устройств - одна и та же версия браузера. До последней цифры.

Mozilla/5.0 (Linux; Android 10; SM-A505FN) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Mobile Safari/537.36


Может, кто-нибудь из Зеннолаба появится и объяснит логику, по которой генерятся профили, откуда они берут данные, по какой логике берут, как эта база вообще пополняется (если в принципе пополняется). Я думаю, многим было бы интересно узнать, что там "под капотом" )) Я именно про решение по генерации "из коробки", которое заложено в Зеннопостер.
 

Phoenix78

Client
Read only
Регистрация
06.11.2018
Сообщения
11 789
Благодарностей
5 721
Баллы
113
2. Если выбрать версию браузера для профиля "Актуальные", то они будут как-то ограничены движком версии, который используется? Условно, если старый CEF на старый версиях Зенки, с версией браузера выше профиль не сгенерится же?
Еще как сгенериться. Зря что ли люди столько времени ограничивали версию браузера, для логина в гугл :bk:
3. Если данные для генерации запрашиваются извне, то насколько важно, допустим, на какой версии писался шаблон/генератор и, главное, на какой он запускается? Допустим, генератор написан на версии 7.3.2.1, но запускается на версии 7.7.0. В блоке "Браузер" выбрано, чтобы версия браузера бралась актуальная. Вопрос: она будет актуальная для кого? Для версии 7.3.2.1, на которой писался шаб, или для версии 7.7.0, на которой его запускали?
Последнюю из базы зеннолаба подтянет. нет там никакой проверки на версию зенки. самый простой рандом из нескольких последних юзерагентов.

Вообще всем интересно, но никто не расскажет. Коммерческая тайна :bk:

Если цель сделать нормальную генерацию профилей, то это не этому функционалу надо обращаться, а самому полностью разобраться и генерить по своему алгоритму. Из коробки генериться массово средне статичный профиль, более менее подходящий для большинства средне статических сайтов.
 

Moonwalker

Client
Регистрация
16.03.2016
Сообщения
1 674
Благодарностей
1 266
Баллы
113
Если цель сделать нормальную генерацию профилей, то это не этому функционалу надо обращаться, а самому полностью разобраться и генерить по своему алгоритму.
Это не обсуждается даже. Но хочется понять логику и "базу", которая есть сейчас )))
 

Moonwalker

Client
Регистрация
16.03.2016
Сообщения
1 674
Благодарностей
1 266
Баллы
113
Сгенерил ради интереса 1000 профилей андроид+хром (версия браузера выбрана "актуальные").
На выходе - всего 33 уникальные связки устройство+версия браузера.
И всего 16 устройств разных (включая разные Redmi Note 5, Redmi Note 7 и прочие, 9 Pro двухлетней давности - самый современный).
На 1000 профилей. С разнообразием проблемы явные )))
Может, кинуть клич по юзерам? Мы сами вам базу актуализируем и расширим, если в ней такие проблемы ))
 

zarufakis

Client
Регистрация
22.03.2019
Сообщения
1 737
Благодарностей
1 131
Баллы
113
Что мешает тебе создать свой список необходимых тебе юзерагентов и делать подмену кубиком?
 

Moonwalker

Client
Регистрация
16.03.2016
Сообщения
1 674
Благодарностей
1 266
Баллы
113
Мы не обсуждаем сейчас, что можно сделать самому (к слову, в том числе, и вообще без зенки) ))) Я уже не говорю о том, что если не на запросах работать, а через браузер, то одна замена UA - это не решение, там несколько параметров менять надо, некоторые из которых тоже собирать надо по устройствам (типа того же разрешения).
В конце концов, мы же пишем зеннолабу, условно, если мышка не туда кликает, или по каким-то другим проблемам Зенки, хотя в 99% можно решить проблему своими костылями или вообще другими программами ))
Вопрос в том, что в изначально заявленном функционале "из коробки" есть проблема.
 
  • Спасибо
Реакции: Hannes и bizzon

Fedor5588

Client
Регистрация
04.06.2017
Сообщения
318
Благодарностей
73
Баллы
28
Мы не обсуждаем сейчас, что можно сделать самому (к слову, в том числе, и вообще без зенки) ))) Я уже не говорю о том, что если не на запросах работать, а через браузер, то одна замена UA - это не решение, там несколько параметров менять надо, некоторые из которых тоже собирать надо по устройствам (типа того же разрешения).
В конце концов, мы же пишем зеннолабу, условно, если мышка не туда кликает, или по каким-то другим проблемам Зенки, хотя в 99% можно решить проблему своими костылями или вообще другими программами ))
Вопрос в том, что в изначально заявленном функционале "из коробки" есть проблема.
В чем заключается проблема? мало отпечатков?
 

Moonwalker

Client
Регистрация
16.03.2016
Сообщения
1 674
Благодарностей
1 266
Баллы
113
В чем заключается проблема? мало отпечатков?
Ну, как по мне, всего 16 устройств на 1000 профилей, это да, мало (даже связок устройство+версия браузера всего 33) ))) Более того, в первом посте в 4-м пункте описывал, все профили определенного браузера (Яндекс.Браузер, еще и одной и той же версии) были сгенерированы на одно и то же устройство. Возможно, проблема не только с небольшой базой, но и в целом с рандомизацией.
 

Fedor5588

Client
Регистрация
04.06.2017
Сообщения
318
Благодарностей
73
Баллы
28
Ну, как по мне, всего 16 устройств на 1000 профилей, это да, мало (даже связок устройство+версия браузера всего 33) ))) Более того, в первом посте в 4-м пункте описывал, все профили определенного браузера (Яндекс.Браузер, еще и одной и той же версии) были сгенерированы на одно и то же устройство. Возможно, проблема не только с небольшой базой, но и в целом с рандомизацией.
Я просто насколько помню с момента появления этой генерации там было +- столько отпечатков, как раз что то около 30-40. Для автоматизации вполне пойдет. Для анонимности, конечно нет.
 

Moonwalker

Client
Регистрация
16.03.2016
Сообщения
1 674
Благодарностей
1 266
Баллы
113
Ну тогда вопрос к разрабам, что-нить в этом направлении планируется делать или нет? ))
@VladZen @sergodjan66 есть, что сказать? )) Просто даже для того, чтобы понимать, есть смысл ждать людям или нет ))
 
  • Спасибо
Реакции: Castaneda

Moonwalker

Client
Регистрация
16.03.2016
Сообщения
1 674
Благодарностей
1 266
Баллы
113
Решил ради интереса выборку увеличить, нагенерил 10к профилей мобильных андроидных чисто на хроме, для чистоты эксперимента ))
В общем, те же 33 уникальных UA с учетом устройств, те же 16 уникальных телефонов.
 

p-sergei

Client
Регистрация
20.12.2016
Сообщения
544
Благодарностей
264
Баллы
63
да уж, если бы не автор, думал бы что в этом месте тылы надежно прикрыты
а так получается -
1656683890519.png
 

Moonwalker

Client
Регистрация
16.03.2016
Сообщения
1 674
Благодарностей
1 266
Баллы
113
Ну, я в целом как бы особых иллюзий не питал, что тут все прямо идеально. Но не думал, что реально такая малая выборка )) Теперь понял, что придется парсить откуда-нибудь, менять в профилях инфу (там тоже не совсем линейно все, одной сменой UA не обойтись), писать свои какие-то расширенные и углубленные генераторы )))
 

p-sergei

Client
Регистрация
20.12.2016
Сообщения
544
Благодарностей
264
Баллы
63
Я с коллегами сокрушаюсь где-то в соседней теме что Яндекс к чертям начал кидать всех ботов в роботы. Если вся толпа Зенноводов сидит на вот этом "многообразии профилей", то как-бы ежу понятно, что даже если только вот таких пользователей вычищать, то можно засчитать победу Яндексу над Зенкой.
Если самому менять, то там же да, куча каких-то объектов браузера которые надо менять одновременно с подменой UA, в этом то и проблема.
 
  • Спасибо
Реакции: juraangel

Moonwalker

Client
Регистрация
16.03.2016
Сообщения
1 674
Благодарностей
1 266
Баллы
113
Видел тему, сами в курсе (при этом, к слову, пока эта роботность не влияет на результат работы)... Поэтому и полез разбираться ))) Решил начать с самого начала. И очень удивился ))
 

ledsan

Client
Регистрация
15.02.2022
Сообщения
324
Благодарностей
71
Баллы
28
Ну со шрифтами более менее понятно как сейчас делать что бы отпечаток рандомизировать.
Но и тут возникает вопрос, если для винды скачал пак шрифтов, тусуй и будет тебе счастье то как быть с мобильными устройствами?
 

ledsan

Client
Регистрация
15.02.2022
Сообщения
324
Благодарностей
71
Баллы
28
Канвас, вебгл, аудио, плагины, мультимедиа периферия как с этим быть?
Ваще ума не приложу.
Все больше и больше сайтов которые жрать уникальные значения отказываются (((
 

FastSpace

Client
Read only
Регистрация
05.04.2018
Сообщения
665
Благодарностей
240
Баллы
43
Ребята, это вы только верхушку айсберга увидели :-)
 

mdsdeal

Client
Регистрация
25.02.2022
Сообщения
252
Благодарностей
62
Баллы
28
Я с коллегами сокрушаюсь где-то в соседней теме что Яндекс к чертям начал кидать всех ботов в роботы. Если вся толпа Зенноводов сидит на вот этом "многообразии профилей", то как-бы ежу понятно, что даже если только вот таких пользователей вычищать, то можно засчитать победу Яндексу над Зенкой.
Если самому менять, то там же да, куча каких-то объектов браузера которые надо менять одновременно с подменой UA, в этом то и проблема.
А какие объекты браузера вообще менять еще приходится?
1) UA: (линукс - мобилки, винда - десктоп; ОС; устройство; Браузер; версия)
2) Разрешение дисплея в зависимости от устройства
А еще что?
 

ledsan

Client
Регистрация
15.02.2022
Сообщения
324
Благодарностей
71
Баллы
28
Ребята, это вы только верхушку айсберга увидели :-)
такое ощущение складывается, покупка зеннки была поспешной ошибкой, да много чего нового узнал разбираясь с ней, несколько полезных фичей сделал для себя на ней.
Но что то серьезное делать на ней такое себе удовольствие.
На той неделе надо было 100 почт гугла, набросал шаблон, запустил на стадии ввода номера постоянно одно и тоже "Номер не может быть использован" пробовал на смсхабе, 5сим, ваще не хочет принимать номер.
Беру номер который не берет и пробую руками регнуть через телефон и о чудо с первого раза хавает и отправляет верификационный код.
Короче так не одной почты и не регнул зенкой((
 

ledsan

Client
Регистрация
15.02.2022
Сообщения
324
Благодарностей
71
Баллы
28
А какие объекты браузера вообще менять еще приходится?
UA: (линукс - мобилки, винда - десктоп; ОС; устройство; Браузер; версия), а еще что?
Юзер агент нет проблем тупо заменить, проблема в другом палят не по юзер агенту а по отпечаткам железа, канвас, плагины, вебгл.
Как выяснилось набор этих отпечатков в зенопостере крайне скудный думаю не более 10 вариантов на весь дружный коллектив зеннопостера.
 

mdsdeal

Client
Регистрация
25.02.2022
Сообщения
252
Благодарностей
62
Баллы
28
Юзер агент нет проблем тупо заменить, проблема в другом палят не по юзер агенту а по отпечаткам железа, канвас, плагины, вебгл.
Как выяснилось набор этих отпечатков в зенопостере крайне скудный думаю не более 10 вариантов на весь дружный коллектив зеннопостера.
Я не очень разбираюсь в технических моментах, но если изменять версию браузера, устройство, разрешение, то не должен ли отпечаток тоже меняться автоматически, т.е. хэш?
 

ledsan

Client
Регистрация
15.02.2022
Сообщения
324
Благодарностей
71
Баллы
28
Я не очень разбираюсь в технических моментах, но если изменять версию браузера, устройство, разрешение, то не должен ли отпечаток тоже меняться автоматически, т.е. хэш?
Отпечатков основных несколько, вчера написал небольшой тестовый шаблон для того что бы понять насколько рандомно зенка профиля делает и выяснить большой ли набор отпечатков.
В результате получилось что отпечатков в зенке думаю до 10 устройств.
Вот глянь в блокноте 100 профилей
 

Вложения

ledsan

Client
Регистрация
15.02.2022
Сообщения
324
Благодарностей
71
Баллы
28
Я не очень разбираюсь в технических моментах, но если изменять версию браузера, устройство, разрешение, то не должен ли отпечаток тоже меняться автоматически, т.е. хэш?
Проще будет наверное так сказать
93854
отпечаток канвас, сервис нам говорит, что данный отпечаток этому сервису встретился 1821 раз на 901 701 пользователей.
А теперь представь когда в зенке 6-10 этих отпечатков и ты гоняешь шаблон, сервису наверное покажется немного странным, что одни и те же хеши через чур часто встречаются.
 

mdsdeal

Client
Регистрация
25.02.2022
Сообщения
252
Благодарностей
62
Баллы
28
Отпечатков основных несколько, вчера написал небольшой тестовый шаблон для того что бы понять насколько рандомно зенка профиля делает и выяснить большой ли набор отпечатков.
В результате получилось что отпечатков в зенке думаю до 10 устройств.
Вот глянь в блокноте 100 профилей
Да, посмотрел, в плагинах вообще 1 строка одинаковая везде.
 

mdsdeal

Client
Регистрация
25.02.2022
Сообщения
252
Благодарностей
62
Баллы
28
Проще будет наверное так сказать
Посмотреть вложение 93854
отпечаток канвас, сервис нам говорит, что данный отпечаток этому сервису встретился 1821 раз на 901 701 пользователей.
А теперь представь когда в зенке 6-10 этих отпечатков и ты гоняешь шаблон, сервису наверное покажется немного странным, что одни и те же хеши через чур часто встречаются.
Вопрос:
У реальных людей, допустим, которые используют samsung galaxy s20, chrome, мтс будут одинаковые отпечатки?
 

ledsan

Client
Регистрация
15.02.2022
Сообщения
324
Благодарностей
71
Баллы
28
Вопрос:
У реальных людей, допустим, которые используют samsung galaxy s20, chrome, мтс будут одинаковые отпечатки?
думаю что нет, но будет некий процент одинаковых а не так, что практически подряд одно и тоже
 

Phoenix78

Client
Read only
Регистрация
06.11.2018
Сообщения
11 789
Благодарностей
5 721
Баллы
113

mdsdeal

Client
Регистрация
25.02.2022
Сообщения
252
Благодарностей
62
Баллы
28
думаю что нет, но будет некий процент одинаковых а не так, что практически подряд одно и тоже
Т.е., по вашему мнению, уникализация UA, а именно, устройство, разрешение, ОС, версия браузера, не исправят ситуацию, хотя бы процентов на 20-30?
 

ledsan

Client
Регистрация
15.02.2022
Сообщения
324
Благодарностей
71
Баллы
28
почему нет ? что у них разное ?
ща ради прикола сравнил 2 телефона хуавей детям на новый год подарили (одной модели)
открывал сайт f.vision
ну так вот хеши:

webgl - одинаковые
canvas - одинаковые
plugins - нет
audio - разные
client rects - разные
fonts - разные
 
  • Спасибо
Реакции: Hannes, izubr и volody00

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)