Генератор профилей zpprofile с правильными UserAgent-ами

[Voronin]

Всем привет!

Предлагаю свой шаблон по генерации профилей zpprofile.
Точнее говоря набор из двух шаблонов - первый шаблон заточен под генерацию профилей Desktop устройств, второй для профилей мобильных устройств.

В шаблонах "допилены" многие нюансы уникализации создаваемых профилей, на основе информации из разных веток этого форума. А именно:

- С интернета подтягивается база актуальных UserAgent-ов, которые рандомно подставляется в профиль. При этом учитывается ОС и Браузер созданного шаблона. Т.е. если Зеннопостер сгенерировал шаблон для Windows-Chrome, то будет подставлен актуальный UserAgent для Windows-Chrome, если сгенерирован шаблон для MacOS-Safari, то подставляется UserAgent для MacOS-Safari. База обновляется ежедневно и содержит ~ 7000 строк актуальных UserAgent-ов.

- Уникализуется локальный адрес для WebRTC

- Уникализуется набор плагинов браузера.

- Рандомно включается DoNotTrack.

Настройки шаблонов:

Папка сохранения файлов - если не задана, то в папке, где расположен шаблон будет создана папка Profiles, и профили будут сохраняться в неё.
В папке Profiles создаются 2 подпапки Desktop и Mobile, для разных профилей соответственно.
На выходе получаем файлы вида (подпапка Desktop):

Процент смены UserAgent - Задается с какой вероятностью в создаваемых шаблонах будет меняться UserAgent. 100% - будет меняться всегда. 0% - никогда.

Учитывать статистику UserAgent - В базе UserAgent некоторые строки попадаются чаще (популярный UserAgent), некоторые реже. Если включена опция Учитывать статистику UserAgent, то при случайном выборе популярные UserAgentы будут выпадать чаще, при отключенной опции всем строкам устанавливается одинаковый приоритет. Другими словами на момент написания текста самый частый браузер Windows Chrome 79. При включенной опции он будет выпадать чаще. Плюсы - статистика более правдоподобна, минусы - могут выпадать одинаковые версии несколько раз подряд. При отключенной опции Windows Chrome 79 будет выпадать подряд реже, но статистика менее правдоподобна.

Процент включения DoNotTrack - По тому включать или не включать в браузере параметр DoNotTrack есть много споров. С одной стороны если его включать это повышает анонимность, с другой стороны если у 100% включен DoNotTrack, то это подозрительно. Поэтому вероятность включения DoNotTrack вынесена в настройки. 100% - будет включен всегда. 0% - никогда. 50% будет включен 50/50.

Процент перегенерации плагинов - Несмотря, на то что в настройка ZP включена опция эмуляции плагинов. Плагины в браузере всегда создаются одни и те же.

Шаблон генерирует свои плагины случайным образом. 100% - плагины будет перегенироваться всегда. 0% - никогда.
Пример плагин сгенерированных шаблоном:

Как их видит whoer.net:

Логи выполнения шаблона в ZP:


Строки Юзер-агентов из базы:


Стоимость: 1000р
Версия 1 более не продается. Актуальная версия 2, описание ниже.

Контакты

1. В приват на форуме
2. Телеграм https://t.me/senior_voronin
(это рабочий контакт, поэтому отвечаю в рабочие часы, ну и иногда вне рабочих часов)

Технические особенности:
Шаблон закрытый - права только на запуск.

 

[Oleg1987]

Семь версий ZP, десять лет разработки, а шаблоны по генерации UA все еще актуальны((

 

[Phoenix78]

под хром нормально уникализуется локальный адрес для WebRTC ?

 

[Voronin]

Семь версий ZP, десять лет разработки, а шаблоны по генерации UA все еще актуальны((

В плане эмуляции свойств браузера ZP за долгие годы неплохо продвинулся, но вот многие параметры у него генерятся рандомно и в результате браузер становится слишком "уникальным".
UserAgent также генерится на основе паттернов, в итоге он вроде получается и уникальный, и в то же время такого билда браузера может и в природе не существовать. Некоторые антифрод системы на это обращают внимание, поэтому для лучшей эмуляции UA тянуть из статистики какого-нибудь сайта.

 

[Voronin]

под хром нормально уникализуется локальный адрес для WebRTC ?

У меня так:
1. Браузер Chrome, не Зеннопостер: Прокси не используется, WebRTC походу отключен.

2. Зеннопостер. Движок Хром, Профиль 1 сгенерирован шаблоном:

2. Зеннопостер. Движок Хром, Профиль 2 сгенерирован шаблоном:

 

[Valandersi]

Норм, а ниче что в хроме в браузере у вас локального ip нет?

 

[Phoenix78]

ну да. с локал IP не все хорошо. надо поправить

 

[Oleg1987]

а ниче что в хроме в браузере у вас локального ip нет?

Так ведь

WebRTC походу отключен.

 

[Valandersi]

Так ведь

У обычного пользователя он не отключён по дефолту. С таким же успехом можно выключить js и тогда сайты мало что смогут определить

 

[Oleg1987]

А вообще по поводу всеми любимого WebRTC - когда пилил свой регер гугла на реальном на реальном Chrome, по началу знаний не хватило как программно отключить его. Забил на это. На всех машинах был одинаковый ip, т.к. стоял VPN. Нарегал ~ 100 к. акков. И не чего, многие до сих пор живы

 

[Voronin]

Норм, а ниче что в хроме в браузере у вас локального ip нет?

В зеннопостере если включать эмуляцию WebRTC, то эмулируется несуществующая подстеть.
В случае моей реальной подсети Chrome может локальный IP не определить, у меня подсеть провайдера, а за ней подсеть wi-fi. Либо Chtome этих данных сайту browserleaks.com не передает. Поэтому n/a стоит.
Если в зеннопостере локальный IP в WebRTC не назначать будет та же картина:

 

[Sandman_89]

Как купить? Можешь через телегу написать https://t.me/Sandman89

 

[Андрейка2020]

ТС, актуальна ли тема?

 

[Андрейка2020]

По вопросам приобретения пишите сюда или в ЛС.

Шаблон открыт?

 

[Mikhail B.]

@Voronin проявите активность в теме.

 

[Voronin]

ТС, актуальна ли тема?

Да, сделал обновление шаблона, под новый источник данных

Шаблон открыт?

Нет, шаблон закрытый, с правами на выполнение.

Отсутствовал здесь некоторое время. Всем кто писал в приват - отвечу.

 

[antyspama]

судя по весу профилей генератор не более чем генератор)

 

[Voronin]

судя по весу профилей генератор не более чем генератор)

Вес определятся данными, что ЗП пишет в профиль, у создаваемых профилей этот объем примерно одинаков всегда 10-15КБ. Профиль растет когда куки начинают нагуливать, но это уже совсем другая история©

 

[Voronin]

Шаблон обновился. Актуальная версия шаблона 2.0. Старая версия более не продается.

Что нового?

1. Обновилась концепция шаблона, теперь шаблон поставляется со своей базой UserAgent-ов. В базе только актуальные версии юзерагентов (данные за полгода). Текущий размер базы 209 876 строк. База будет регулярно обновляться раз в месяц. Обновления бесплатны.

В настройках шаблона теперь можно выбирать какой тип браузера и ОС генерировать. Проделана большая работа, чтобы всё это корректно работало - меняются не только значения юзерагента, но и остальные свойства Навигатора:

Также можно указать свой файл со списком юзерагентов. Важно! В этом случае строка UserAgent будет выбираться рандомно из файла, выбор Браузеров/ОС не будут учитываться.

2. Добавлена возможность выбора языка (давно просили), в отличии от стандартного списка ZP - тут около 200 языков на выбор, включая экзотику

3. Переделана схема выбора IP в WebRTC, можно выбирать какой IP подставлять внешний, нулевой, или частная подсеть.

4. Набор шрифтов для каждого профиля уникализируется, чтобы менялся Fonts Fingerprint

5. Размер экрана подбирается под тип устройства/ОС. Была собрана своя база разрешений экрана, под популярные устройства для десктопа, планшетов и телефонов.

6. Плагины браузера в первой версии генерировались рандомно, сейчас алгоритм доработан: как показывает статистика у большинства реальных пользователей включен стандартный набор плагин. Поэтому он выбирается чаще. Для хрома Plugin Fingerprint подогнан под настоящий: Идея взята отсюда (https://zennolab.com/discussion/threads/uluchshaem-ehmuljaciju-profilej-zennoposter.79074/). Для тех типов браузеров, где плагинов нет, шаблон плагины не создает.

Окно настроек:

Если коротко, то такие свойства браузера как эмуляция WebRTC, DoNotTrack и UseAddBlock будут выбираться рандомно с долей вероятности указанной в настройках. 100% означает что данный параметр будет активирован всегда, 0% никогда. 50% - означает 50/50.

В поле основной язык указывается – приоритетный язык. Если это не English, то к основному как правило добавляется English в качестве дополнительного.

IP в WebRTC можно выбирать какой IP подставлять внешний, нулевой, или частная подсеть.

Важно! В публичный IP подставляется текущий внешний IP, естественно его в дальнейшем при использовании профиля в своих шаблонах нужно будет менять на актуальный внешний адрес (ну вряд ли вы в своей работе всегда работаете под одним и тем же IP). Схема как менять прилагается. Хотя там без хитростей.

Многопоточный режим – добавляет рассинхронизацию в работу, чтобы шаблон стабильнее работал в многопотоке. Настройка экспериментальная, сделана как есть.

Цена шаблона изменилась: 2000р за безвременную лицензию. Но те, кто брал первую версию – обновление бесплатно. Забота о клиентах)) Напишите мне в ЛС, за обновлениями.

Технические особенности:

- шаблон закрытый, права только на запуск
- база тоже закрыта/зашифрована, увидеть внутренности не получится
- можно подключать свои файлы с юзерагентами
- тестировалось под 5.41.1.0 и под 7.1.4.0. Под остальными версиями тоже должно работать, если не очень древними.

Контакты:
1. ЛС на форуме
2. Телеграм https://t.me/senior_voronin
(это рабочий контакт, поэтому отвечаю в рабочие часы, ну и иногда вне рабочих часов)

 

[Voronin]

Дабы уменьшить число типовых вопросов в ЛС, собрал список часто задаваемых вопросов, здесь:

Для чего этот шаблон? Что он делает?

В первую очередь шаблон подменяет свойство UserAgent на значение от реального браузера/устройства. В стандартной Зенке, это свойство генериться по шаблону, поэтому результат может дать несуществующую версию браузера, плюс нередки случаи, когда вместо одного вида устройства получается совсем другое. На форуме есть ряд постов на эту тему:

https://zennolab.com/discussion/threads/generacija-levyx-ua-vmesto-mobilnyx.79880/
https://zennolab.com/discussion/threads/snova-pro-generaciju-profilja-useragent-v-zp.79299/
https://zennolab.com/discussion/threads/ne-nastraivaetsja-useragent.78787/
https://zennolab.com/discussion/threads/yabrowser-v-rezultatax-generacii-useragent-chrome.78790/
https://zennolab.com/discussion/threads/user-agent-posle-sutok-vypolnenija-sypetsja-vse-podrjad.81298/

Нужно ли его вообще менять?

Тут вопрос в том с какими сайтами в дальнейшем приходится работать. Если вы парсите каталог сделанный какими-нибудь любителями, то тогда всё равно насколько у вас ровный UserAgent. У владельцев такого сайта вряд ли есть ресурсы для анализа вашего юзерагента, и вас там не забанят.
Другое дело если вы работаете с такими монстрами как Яндекс, Гугл, ФБ или Инста. У них есть ресурсы анализировать всё и вся, и они всегда могут спалить вас на этом.

Если менять UA даст ли это гарантии, что теперь меня нигде не спалят?

Это всего лишь одно из свойств которое улучшает анонимность в глазах детект-систем. В конечном итоге немаловажно использование качественных прокси и то насколько анонимен ЗенноПостер в целом. Если в ЗП возникают/возникли дыры по которым его можно массово вычислять, то смена юзерагента уже не поможет. Аналогично сидеть за проксями, которые есть во всех спам-базах, даст отрицательный эффект, который правильным UA не исправить.

Также такие монстры как Яндекс и Гугл анализируют историю просмотров по наличию файлов куки. Для этого создаваемые профили нужно нагулять – прогнать по ряду сайтов, где есть счетчики Я.Метрики или Гугл.Аналитики. Например, если работать с накруткой ПФ, профили нужно обязательно нагулять. В функционал данного шаблона это не входит. Для нагуливания можете воспользоваться бесплатным шаблоном от Santorini:

https://zennolab.com/discussion/threads/sozdanie-i-progrevanie-profilej-nagulivanie-kuki-dlja-dalnejshix-registracij.70865/

Для накрутки ПФ у меня есть свой шаблон, в который входит нагуливатель.

Зачем этот шаблон, если актуальных юзерагентов можно нарыть в Интернете самому и менять их рандомно из списка? Да там 2 строчки кода!

Всё не так просто. У любого Браузера есть интерфейс Navigator, в котором есть ряд свойств (такие как Platform, AppName, Vendor, BuildID), которые отличаются в зависимости от типа Браузера. Их тоже нужно менять. Шаблон учитывает все эти зависимости, и строк кода становиться довольно много.

Подробно что такое интерфейс Navigator в официальной справке:

https://developer.mozilla.org/ru/docs/Web/API/Navigator

О том какие значения нужно брать в зависимости от браузера можно почитать здесь

https://zennolab.com/discussion/threads/anonimnost-v-kazhdyj-zennoposter-ot-useragenta-do-shriftov-chast-2.44575/

Скажу что там далеко не всё, много информации пришлось собирать на просторах Интернета.

И всё же, можно ли менять юзерагентов самому без вашего шаблона?

Да, даю бесплатный лайвхак:

Создаете свой шаблон, в котором заранее указываете ограничение на тип Браузера/ОС/Платформа. Например, Chrome/Windows/Desktop:

ЗенноПостер заполняет свойства Navigator вполне правильно, во всяком случае в версиях 5.x. Далее вставляем кубик на c#:

project.Profile.UserAgent = [сюда ставить ваш UA]

для ФФ UserAgentAppVersion менять не нужно, для остальных браузеров также меняем следующим кодом:

project.Profile.UserAgentAppVersion = project.Profile.UserAgent.Replace("Mozilla/","");

Моя первая версия шаблона работала по похожему принципу, однако на каждую комбинацию Браузера/ОС/Платформа нужно пилить свой шаблон.

Что ещё умеет делать шаблон?

При разработке шаблона учитывались данные из этих тем:

https://zennolab.com/discussion/threads/anonimnost-v-kazhdyj-zennoposter-ot-useragenta-do-shriftov-chast-1.37703/
https://zennolab.com/discussion/threads/anonimnost-v-kazhdyj-zennoposter-ot-useragenta-do-shriftov-chast-2.44575/
https://zennolab.com/discussion/threads/uluchshaem-ehmuljaciju-profilej-zennoposter.79074/

Однако, первые две уже довольно устарели (2017 год), поскольку многое из того, что описано в этих темах уже есть в стандартной версии ЗенноПостер. Из третей позаимствована идея Plugin Fingerprint для Chrome и Fonts Fingerprint.

Нужен ли мне шаблон?

Решать вам. Все подробности описаны.

Можно ли взять на тест?

Тест пока не предусмотрен. Цена и так не велика.



Далее в рубрике “Лучшие вопросы от потенциальных клиентов” собрал самые любимые)):

Шаблон открытый?

Нет.

Я хочу допилить шаблон для себя, можно ли всё-таки взять в открытом виде?

Нет.
Результат работы шаблона – генерируемый профиль. Если хотите этот профиль улучшить, просто пишите свой шаблон для этого.

И всё же можно ли его получить в открытом виде?

Нет.
Если код шаблона открыт, то его можно скопипастить и сделать свой шаблон аналог. И продавать здесь же. По сути для автора открытый код шаблона - это забыть о продаже шаблона.

Да не буду я копипастить шаблон. Просто мне так удобнее.

Охотно верю, но нет.


По мере новых вопросов буду топик дополнять…

 

[bekas]

Огромное спасибо за версию 2.0. Проделана большая работа от первой версии. Чего стоит включение и отключение плагинов в профиле браузера когда это нужно или нет, полное совпадение размеров экранов и активной области браузера с эмулируемым устройством, теперь полный набор языков (accept_languages) для буржа. Вобщем, ботоводам must have!

 

[antyspama]

а версия 2 тоже цена 1000р чето не увидел???

 

[andropovleva]

Всем привет!

Предлагаю свой шаблон по генерации профилей zpprofile.
Точнее говоря набор из двух шаблонов - первый шаблон заточен под генерацию профилей Desktop устройств, второй для профилей мобильных устройств.

В шаблонах "допилены" многие нюансы уникализации создаваемых профилей, на основе информации из разных веток этого форума. А именно:

- С интернета подтягивается база актуальных UserAgent-ов, которые рандомно подставляется в профиль. При этом учитывается ОС и Браузер созданного шаблона. Т.е. если Зеннопостер сгенерировал шаблон для Windows-Chrome, то будет подставлен актуальный UserAgent для Windows-Chrome, если сгенерирован шаблон для MacOS-Safari, то подставляется UserAgent для MacOS-Safari. База обновляется ежедневно и содержит ~ 7000 строк актуальных UserAgent-ов.

- Уникализуется локальный адрес для WebRTC

- Уникализуется набор плагинов браузера.

- Рандомно включается DoNotTrack.

Настройки шаблонов:

Посмотреть вложение 49394

Папка сохранения файлов - если не задана, то в папке, где расположен шаблон будет создана папка Profiles, и профили будут сохраняться в неё.
В папке Profiles создаются 2 подпапки Desktop и Mobile, для разных профилей соответственно.
На выходе получаем файлы вида (подпапка Desktop):

Посмотреть вложение 49395

Процент смены UserAgent - Задается с какой вероятностью в создаваемых шаблонах будет меняться UserAgent. 100% - будет меняться всегда. 0% - никогда.

Учитывать статистику UserAgent - В базе UserAgent некоторые строки попадаются чаще (популярный UserAgent), некоторые реже. Если включена опция Учитывать статистику UserAgent, то при случайном выборе популярные UserAgentы будут выпадать чаще, при отключенной опции всем строкам устанавливается одинаковый приоритет. Другими словами на момент написания текста самый частый браузер Windows Chrome 79. При включенной опции он будет выпадать чаще. Плюсы - статистика более правдоподобна, минусы - могут выпадать одинаковые версии несколько раз подряд. При отключенной опции Windows Chrome 79 будет выпадать подряд реже, но статистика менее правдоподобна.

Процент включения DoNotTrack - По тому включать или не включать в браузере параметр DoNotTrack есть много споров. С одной стороны если его включать это повышает анонимность, с другой стороны если у 100% включен DoNotTrack, то это подозрительно. Поэтому вероятность включения DoNotTrack вынесена в настройки. 100% - будет включен всегда. 0% - никогда. 50% будет включен 50/50.

Процент перегенерации плагинов - Несмотря, на то что в настройка ZP включена опция эмуляции плагинов. Плагины в браузере всегда создаются одни и те же.
Посмотреть вложение 49414
Шаблон генерирует свои плагины случайным образом. 100% - плагины будет перегенироваться всегда. 0% - никогда.
Пример плагин сгенерированных шаблоном:
Посмотреть вложение 49415

Как их видит whoer.net:
Посмотреть вложение 49416

Логи выполнения шаблона в ZP:
Посмотреть вложение 49396 Посмотреть вложение 49397

Строки Юзер-агентов из базы:
Посмотреть вложение 49398 Посмотреть вложение 49399

Стоимость: 1000р
Версия 1 более не продается. Актуальная версия 2, описание ниже.

Контакты

1. В приват на форуме
2. Телеграм https://t.me/senior_voronin
(это рабочий контакт, поэтому отвечаю в рабочие часы, ну и иногда вне рабочих часов)

Технические особенности:
Шаблон закрытый - права только на запуск.

Автор отзовись, хочу купить))

 

[andropovleva]

Кто автору писал? Он отвечает?

 

[Mikhail B.]

Кто автору писал? Он отвечает?

Последняя активность Сегодня в 13:33

 

[andropovleva]

Всё ок! Продавец вышел на связь, шаблон купил. Шаб работает хорошо, со своими задачами справляется.

 

[antyspama]

Кто автору писал? Он отвечает?

не отвечает. а покупать кота в мешке))

 

[Voronin]

Отвечаю) Иногда даже быстро.
Но сейчас много задач на основной работе, до форума руки не доходят, как ни крути шаблоны это хобби.

а версия 2 тоже цена 1000р чето не увидел???

Про стоимость писал в теме об обновлении:

Цена шаблона изменилась: 2000р за безвременную лицензию. Но те, кто брал первую версию – обновление бесплатно. Забота о клиентах)) Напишите мне в ЛС, за обновлениями.

 

[Vegetable]

Voronin Добрый день, написал вам в телеграм, но вы не выходите на связь. Подскажите софт еще актуальный, продается?

 

[Enrof]

Voronin Добрый день, написал вам в телеграм, но вы не выходите на связь. Подскажите софт еще актуальный, продается?

Он уже с октября на форуме не появляется, шаб то работает то нет, сегодня вообще перестал работать, пишет ошибка - проверки лицензии.

И судя по всему, не предвидится обновлений)))