Шаблоны для работы с User Agent (часть 3)

OlegR

Client
Регистрация
11.06.2015
Сообщения
252
Реакции
255
Баллы
63

user_agent_browser.zp

Уважаемые, коллеги и организаторы конкурса. Этот шаблон делает различные выборки UA из PostgreSQL для нашего применения. Напомню, user_agent_create.zp шаблон создаёт json-записи, user_agent_postgresql.zp json-записи из txt-файла перегоняет в СУБД PostgreSQL.

Перед использованием шаблона user_agent_browser.zp нужно настроить кубики (их три) работы с БД в шаблоне. По настройке кубиков можно посмотреть гайд из второй части «Шаблоны для работы с User Agent (часть 2)»
кубики.jpg



входные настройки.PNG

  • Имя таблицы БД
  • Имя столбца таблицы – поле json-формата
  • Path_request – .txt файл куда помещаются результаты запросов к таблице
  • Режим работы – тут три режима работы. Первый режим -это «обзор». В этом режиме шаблон дает статистику БД по паре «операционная система – браузер». Пример обзора в спойлере
    [*]24048 : windows - chrome
    1251 : android - chrome
    1241 : windows - opera
    688 : windows - firefox
    604 : windows - ie
    471 : linux - konqueror
    457 : windows - edge
    412 : android - samsung browser
    408 : linux - firefox
    400 : android - brave
    399 : xbox - edge
    397 : windows - mozilla
    393 : android - chrome webview
    389 : mac os - chrome
    372 : linux - chrome
    346 : mac os - safari
    314 : ubuntu - firefox
    309 : linux - mozilla
    295 : windows - seamonkey
    278 : linux - opera
    261 : android - facebook
    260 : chromium os - chrome
    254 : ios - mobile safari
    253 : android - silk
    252 : mac os - firefox
    222 : windows phone - edge
    220 : android - opera
    210 : windows - safari
    179 : windows - yandex
    175 : windows - iron
    153 : android - yandex
    139 : linux - tesla
    138 : android - android browser
    133 : ubuntu - mozilla
    125 : windows - k-meleon
    124 : windows - lunascape
    123 : debian - iceweasel
    120 : linux - seamonkey
    119 : debian - mozilla
    112 : windows - netscape
    110 : playstation - webkit
    104 : fedora - firefox
    91 : mac os - opera
    78 : android - firefox
    75 : mac os - camino
    74 : windows - maxthon
    74 : suse - firefox
    71 : linux - iceweasel
    71 : mac os - mozilla
    68 : windows - flock
    66 : ubuntu - chromium
    57 : windows - brave
    55 : windows - palemoon
    54 : gentoo - firefox
    54 : android - opera mini
    52 : xbox - chrome
    50 : playstation - silk
    50 : linux - links
    49 : ios - instagram
    49 : android - puffin
    46 : mac os - webkit
    43 : windows - vivaldi
    42 : linux - epiphany
    41 : ios - webkit
    41 : android - edge
    40 : mac os - edge
    39 : netbsd - firefox
    36 : linux - midori
    35 : windows - rockmelt
    34 : linux - fennec
    34 : linux - safari
    34 : solaris - firefox
    34 : solaris - mozilla
    31 : mac os - rockmelt
    30 : linux - arora
    30 : mac os - icab
    30 : mac os - seamonkey
    29 : mac os - brave
    28 : linux - iron
    27 : openbsd - firefox
    27 : windows - firebird
    27 : ios - chrome
    26 : linux - flock
    25 : mac os - omniweb
    24 : freebsd - firefox
    23 : linux - swiftfox
    23 : mac os - netscape
    23 : linux - vivaldi
    23 : ios - opera mini
    23 : windows - avant
    22 : fedora - mozilla
    22 : mac os - flock
    21 : android - fennec
    21 : debian - epiphany
    21 : windows - waterfox
    21 : windows - fennec
    20 : linux - netscape
    19 : windows - qqbrowser
    19 : windows - coc coc
    18 : centos - firefox
    18 : fedora - chrome
    17 : android - opera mobi
    16 : mac os - iron
    16 : windows - phoenix
    15 : mint - firefox
    15 : mac os - yandex
    15 : windows - webkit
    15 : windows - arora
    15 : linux - edge
    15 : freebsd - konqueror
    15 : windows phone - iemobile
    13 : fedora - seamonkey
    13 : windows - whale
    13 : linux - kindle
    13 : openbsd - brave
    13 : windows - opera mini
    13 : android - instagram
    13 : ubuntu - epiphany
    13 : gentoo - links
    11 : nintendo - opera
    11 : linux - chromium
    10 : windows - ucbrowser
    10 : linux - icecat
    10 : suse - seamonkey
    10 : ios - safari
    9 : windows - konqueror
    9 : debian - konqueror
    8 : playstation - safari
    8 : windows - minimo
    8 : fedora - konqueror
    8 : mac os - chimera
    8 : symbian - opera mobi
    7 : ios - brave
    7 : mint - chrome
    7 : windows - icedragon
    7 : freebsd - mozilla
    7 : netbsd - chrome
    7 : suse - mozilla
    7 : symbian - opera mini
    7 : beos - mozilla
    7 : kubuntu - konqueror
    6 : linux - yandex
    6 : freebsd - chrome
    6 : linux - brave
    6 : symbian - opera
    6 : ios - firefox
    6 : android - coc coc
    6 : mint - mozilla
    6 : netbsd - links
    6 : linux - firebird
    6 : mandriva - firefox
    6 : slackware - firefox
    5 : ubuntu - chrome
    5 : linux - netsurf
    5 : windows - opera mobi
    5 : windows phone os - iemobile
    5 : freebsd - seamonkey
    5 : solaris - opera
    5 : linux - iceape
    5 : solaris - konqueror
    5 : dragonfly - firefox
    5 : xbox - ie
    5 : windows - comodo dragon
    5 : slackware - chrome
    5 : android - ucbrowser
    5 : openbsd - konqueror
    5 : mac os - links
    5 : mac os - silk
    5 : linux - samsung browser
    4 : mac os - waterfox
    4 : gentoo - mozilla
    4 : debian - conkeror
    4 : gentoo - iceweasel
    4 : windows - basilisk
    4 : ios - gsa
    4 : haiku - mozilla
    4 : openbsd - mozilla
    4 : mac os - fennec
    4 : windows - slim
    4 : ubuntu - opera
    4 : gnu - lynx
    4 : netbsd - mozilla
    4 : symbian - webkit
    4 : mac os - ie
    4 : debian - firefox
    4 : linux - webkit
    4 : fedora - epiphany
    4 : mint - opera
    4 : os/2 - seamonkey
    4 : freebsd - epiphany
    3 : linux - phoenix
    3 : unix - opera
    3 : openbsd - chrome
    3 : raspbian - chromium
    3 : solaris - netscape
    3 : amigaos - seamonkey
    3 : debian - links
    3 : symbian - safari
    3 : aix - mozilla
    3 : netbsd - konqueror
    3 : windows - khtml
    3 : kubuntu - mozilla
    3 : freebsd - opera
    3 : android - whale
    3 : linux - puffin
    3 : mac os - vivaldi
    3 : freebsd - links
    3 : centos - seamonkey
    3 : windows phone - webkit
    3 : mint - brave
    3 : linux - waterfox
    3 : linux - minimo
    3 : windows - avast secure browser
    3 : linux - maemo browser
    3 : risc os - netsurf
    3 : mandriva - mozilla
    3 : debian - w3m
    3 : windows phone - chrome
    2 : centos - mozilla
    2 : linux - opera mini
    2 : gentoo - brave
    2 : suse - epiphany
    2 : suse - chrome
    2 : ios - facebook
    2 : suse - konqueror
    2 : windows - iridium
    2 : dragonfly - konqueror
    2 : debian - opera
    2 : netbsd - safari
    2 : windows - avg secure browser
    2 : windows - mosaic
    2 : ubuntu - iceweasel
    2 : unix - chrome
    2 : windows - android browser
    2 : ios - yandex
    2 : netbsd - midori
    2 : kubuntu - firefox
    2 : windows - iceweasel
    2 : beos - firefox
    2 : android - baiduboxapp
    2 : android - miui browser
    2 : tizen - safari
    2 : arch - webkit
    2 : unix - links
    2 : freebsd - k-meleon
    2 : android - opera touch
    2 : android - mobile safari
    2 : mac os - opera mobi
    2 : ios - opera touch
    2 : ios - edge
    2 : linux - silk
    2 : openbsd - epiphany
    2 : openbsd - opera
    2 : freebsd - midori
    2 : linux - chrome headless
    2 : os/2 - mozilla
    2 : xbox - chrome headless
    2 : solaris - mosaic
    2 : linux - opera mobi
    2 : solaris - epiphany
    2 : solaris - firebird
    2 : openvms - mozilla
    2 : aix - netscape
    1 : linux - comodo dragon
    1 : openbsd - minimo
    1 : openbsd - seamonkey
    1 : windows mobile - edge
    1 : mac os - firebird
    1 : beos - seamonkey
    1 : xbox - netscape
    1 : mac os - whale
    1 : mac os - opera mini
    1 : netbsd - netsurf
    1 : mac os - skyfire
    1 : debian - chrome
    1 : netbsd - seamonkey
    1 : kubuntu - opera
    1 : blackberry - safari
    1 : symbian - opera tablet
    1 : unix - webkit
    1 : slackware - mozilla
    1 : android - safari
    1 : slackware - konqueror
    1 : tizen - tizenbrowser
    1 : fedora - yandex
    1 : android - mozilla
    1 : unix - mozilla
    1 : xbox - webkit
    1 : android - slim
    1 : arch - midori
    1 : gentoo - seamonkey
    1 : bsd - safari
    1 : opensolaris - opera
    1 : arch - firefox
    1 : windows - opera tablet
    1 : mac os - phoenix
    1 : windows - iemobile
    1 : zenwalk - mozilla
    1 : windows - chromium
    1 : android - webkit
    1 : android - kindle
    1 : netbsd - chromium
    1 : mageia - firefox
    1 : tizen - samsung browser
    1 : linux - k-meleon
    1 : netbsd - vivaldi
    1 : windows phone - firefox
    1 : windows - midori
    1 : windows - blazer
    1 : windows - conkeror
    1 : windows - bolt
    1 : unix - ie
    1 : windows - tesla
    1 : linux - conkeror
    1 : gentoo - epiphany
    1 : linux - ie
    1 : mandriva - seamonkey
    1 : solaris - links
    1 : windows - icab
    1 : haiku - seamonkey
    1 : qnx - mozilla
    1 : openbsd - links
    1 : aix - mosaic
    1 : unix - opera mini
    1 : android - gobrowser
    [*]
    Второй режим – это «шаблон». В этом режиме шаблон совершает выборки из БД по основным парам (не все существующие пары «ОС – браузер» доступны в этом режиме); Третий режим - это «свой запрос». В этом режиме совершаются произвольные запросы к БД. Это наиболее гибкий вариант.
    [*]
    SQL:
    Развернуть Свернуть Копировать
    -- вставка json записи в поле info таблицы jsontb2
    
    INSERT INTO jsontb2 (info) VALUES ('{"ua":"Mozilla/5.0 (X11; GNU/Linux) AppleWebKit/537.36 (KHTML, like Gecko) Chromium/72.0.3626.122 Chrome/72.0.3626.122 Safari/537.36 Tesla QtCarBrowser","browser":{"name":"tesla"},"engine":{"name":"blink","version":"72.0.3626.122"},"os":{"name":"linux"},"device":{"vendor":"tesla","type":"embedded"},"cpu":{}}
    ')
    
    
    -- выборка UA из таблицы jsontb2 из поля info, где операционная система android
    
    SELECT info ->> 'ua' AS ua FROM jsontb2 WHERE info -> 'os' ->> 'name' = 'android';
    
    
    -- выборка UA из таблицы jsontb2 из поля info, где операционная система android и браузер chrome
    
    SELECT info ->> 'ua' AS ua
    FROM jsontb2
    WHERE info -> 'os' ->> 'name' = 'android'
    AND info -> 'browser' ->> 'name' = 'chrome
    
    
    -- выборка из таблицы jsontb2 из поля info названий всех операционных систем, имеющихся в БД
    SELECT info -> 'os' ->> 'name' as name
    FROM jsontb2
    [*]
    Как совершать запросы к json-записям можно посмотреть по этой ссылке https://www.postgresqltutorial.com/postgresql-tutorial/postgresql-json/
  • OS – это выбор операционной системы для режима «шаблон»
  • Browser – это выбор браузера для режима «шаблон»
  • Свой запрос – произвольный sql запрос к БД для режима «свой запрос»
Спасибо за внимание.
 

Вложения

Последнее редактирование:
А зачем так много частей для одной темы? )
 
А зачем так много частей для одной темы? )
чтобы у знаний и опыта была хотя бы немного адекватная оплата. т.к. запрос на подобные решения есть давно и никак не реализуется, то 3 части эт даже мало. главное конечно, что бы помогло в итоге.
 
думаю, что так удобнее воспринимать и делать материал... если модераторы объединят темы - буду не против.
если не объединят , то пусть хоть перелинкуют для удобства восприятия
 
Я рад, что кто-то поделился чем-то о UA, но, пожалуйста, обратите внимание, что содержание этого поста много лет назад, например, код C# внутри Google Chrome версии 55-65, и chrome-builds.data, который он дал в качестве вложения, также должен быть для этого содержания, в то время как последняя версия, которую мы имеем сейчас - 105, о где находится последний файл? Я его не нашел, теперь правильно ли будет заменить в нем содержимое C# сегодня и не подвергать его риску? Я не нашел хорошего способа сделать это, поэтому я использую официальный UA по умолчанию и просто изменяю языковой параметр для страны, в которой расположен IP-адрес.

C#:
Развернуть Свернуть Копировать
https://zennolab.com/discussion/threads/anonimnost-v-kazhdyj-zennoposter-ot-useragenta-do-shriftov-chast-2.44575/
 
  • Спасибо
Реакции: OlegR
Я рад, что кто-то поделился чем-то о UA, но, пожалуйста, обратите внимание, что содержание этого поста много лет назад, например, код C# внутри Google Chrome версии 55-65, и chrome-builds.data, который он дал в качестве вложения, также должен быть для этого содержания, в то время как последняя версия, которую мы имеем сейчас - 105, о где находится последний файл? Я его не нашел, теперь правильно ли будет заменить в нем содержимое C# сегодня и не подвергать его риску? Я не нашел хорошего способа сделать это, поэтому я использую официальный UA по умолчанию и просто изменяю языковой параметр для страны, в которой расположен IP-адрес.

C#:
Развернуть Свернуть Копировать
https://zennolab.com/discussion/threads/anonimnost-v-kazhdyj-zennoposter-ot-useragenta-do-shriftov-chast-2.44575/

спасибо за совет) файл chrome-builds.data находится во вложении user_agent_create_2.7z к Шаблоны для работы с User Agent (часть 1) . Смотря о каком риске идёт речь (?), можно валидировать UA, создавать профили под определенный UA... Тут есть предложение о синхронизация UA и параметров браузера, например.
 

Вложения

спасибо за совет) файл chrome-builds.data находится во вложении user_agent_create_2.7z к Шаблоны для работы с User Agent (часть 1) . Смотря о каком риске идёт речь (?), можно валидировать UA, создавать профили под определенный UA... Тут есть предложение о синхронизация UA и параметров браузера, например.
Здравствуйте, поскольку я перевожу с китайского на русский, возможно, я выразился недостаточно ясно, "chrome-builds.data", который я упоминал ранее, предназначен для содержимого файла, если я открою его в TXT-тексте, я обнаружу, что содержимое касается сборок между 55-65, и я не нашел никаких сборок о новой версии браузера, я попробую позже. Я попробую ваш метод позже.
Кстати, я пришлю вам несколько тестовых сайтов.

C#:
Развернуть Свернуть Копировать
https://abrahamjuliot.github.io/creepjs/
https://webbrowsertools.com/useragent/
https://pixelscan.net/
https://iphey.com
http://f.vision/
 
Здравствуйте, так как я переводил с китайского на русский, возможно я выразился не достаточно ясно, "chrome-builds.data", о котором я говорил ранее, предназначен для содержимого файла, если вы откроете его ноутом, то найдете содержимое билдов между 55-65, а билдов для новой версии браузера я не нашел, нажму на кнопку позже. Я попробую ваш метод позже.
Кстати, я пришлю вам несколько тестовых сайтов.

C#:
Развернуть Свернуть Копировать
https://abrahamjuliot.github.io/creepjs/
https://webbrowsertools.com/useragent/
https://pixelscan.net/
https://iphey.com
http://f.vision/

да, Вы правы) билды старенькие ... попробуйте вот это . Делаете максимально рандомный профиль браузера и запускаете зенку для генерации ua в список, дубли только потом удалите ))

Снимок.PNG
 
да, Вы правы) билды старенькие ... попробуйте вот это . Делаете максимально рандомный профиль браузера и запускаете зенку для генерации ua в список, дубли только потом удалите ))

Посмотреть вложение 97414

Да, это метод, который я использую сейчас, но версия браузера, я буду устанавливать последние 10-15 версий между, такие как Google Chrome 95-105, Firefox аналогичные 95-104, я пытался статистики, текущие официальные данные UA по-прежнему в основном WIN10, через переменную {-Profile.UserAgent-} написать текст для выполнения 2000 + к 5000, затем переходите к дубликатам, уникальных всего 200 или около того, то
Я надеюсь, что все пойдут голосовать
C#:
Развернуть Свернуть Копировать
https://zennolab.com/discussion/threads/dobavit-nastrojku-vybora-os-v-profile.105259/

C#:
Развернуть Свернуть Копировать
https://gs.statcounter.com/
https://gs.statcounter.com/os-market-share
 
  • Спасибо
Реакции: Sanekk и OlegR
Да, это метод, который я использую сейчас, но версия браузера, я буду устанавливать последние 10-15 версий между, такие как Google Chrome 95-105, Firefox аналогичные 95-104, я пытался статистики, текущие официальные данные UA по-прежнему в основном WIN10, через переменную {-Profile.UserAgent-} написать текст для выполнения 2000 + к 5000, затем переходите к дубликатам, уникальных всего 200 или около того, то
Я надеюсь, что все пойдут голосовать
C#:
Развернуть Свернуть Копировать
https://zennolab.com/discussion/threads/dobavit-nastrojku-vybora-os-v-profile.105259/

C#:
Развернуть Свернуть Копировать
https://gs.statcounter.com/
https://gs.statcounter.com/os-market-share
какого рода Ваши проекты так чувствительны к профилю браузера? Насколько я понимаю, крупные сервисы типа фб и не очень крупные использую ИИ для анализа поведения и т.д. Скажем, что есть 1000 параметров, включая профиль браузера, по которым ИИ определяет бота. У Вас есть рецепт обхода такой защиты? Интереса ради)
 
какого рода Ваши проекты так чувствительны к профилю браузера? Насколько я понимаю, крупные сервисы типа фб и не очень крупные использую ИИ для анализа поведения и т.д. Скажем, что есть 1000 параметров, включая профиль браузера, по которым ИИ определяет бота. У Вас есть рецепт обхода такой защиты? Интереса ради)

Не так чувствительны, просто в пределах моих возможностей, чтобы попытаться сделать хорошую работу, такие как некоторые другие сообщения форума упомянул UA тему, но все не удалось решить идеально, я не нашел на данный момент, C# аспекты я не слишком знаком с, так что, наконец, выбрать официальный UA
Насчет файла конфигурации, это здорово, но @Santorini давно не обновлял его.

C#:
Развернуть Свернуть Копировать
https://zennolab.com/discussion/threads/sozdanie-i-progrevanie-profilej-nagulivanie-kuki-dlja-dalnejshix-registracij.70865/
 
  • Спасибо
Реакции: OlegR

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)