Шаблоны для работы с User Agent (часть 3)

[OlegR]

​

• Шаблоны для работы с User Agent (часть 1)
• Шаблоны для работы с User Agent (часть 2)

user_agent_browser.zp​

Уважаемые, коллеги и организаторы конкурса. Этот шаблон делает различные выборки UA из PostgreSQL для нашего применения. Напомню, user_agent_create.zp шаблон создаёт json-записи, user_agent_postgresql.zp json-записи из txt-файла перегоняет в СУБД PostgreSQL.

Перед использованием шаблона user_agent_browser.zp нужно настроить кубики (их три) работы с БД в шаблоне. По настройке кубиков можно посмотреть гайд из второй части «Шаблоны для работы с User Agent (часть 2)»

Спойлер: кубики, которые нужно настроить

• Имя таблицы БД
• Имя столбца таблицы – поле json-формата
• Path_request – .txt файл куда помещаются результаты запросов к таблице
• Режим работы – тут три режима работы. Первый режим -это «обзор». В этом режиме шаблон дает статистику БД по паре «операционная система – браузер». Пример обзора в спойлере
  Спойлер: обзор на бд из 140 000 записей

  [*]24048 : windows - chrome
  1251 : android - chrome
  1241 : windows - opera
  688 : windows - firefox
  604 : windows - ie
  471 : linux - konqueror
  457 : windows - edge
  412 : android - samsung browser
  408 : linux - firefox
  400 : android - brave
  399 : xbox - edge
  397 : windows - mozilla
  393 : android - chrome webview
  389 : mac os - chrome
  372 : linux - chrome
  346 : mac os - safari
  314 : ubuntu - firefox
  309 : linux - mozilla
  295 : windows - seamonkey
  278 : linux - opera
  261 : android - facebook
  260 : chromium os - chrome
  254 : ios - mobile safari
  253 : android - silk
  252 : mac os - firefox
  222 : windows phone - edge
  220 : android - opera
  210 : windows - safari
  179 : windows - yandex
  175 : windows - iron
  153 : android - yandex
  139 : linux - tesla
  138 : android - android browser
  133 : ubuntu - mozilla
  125 : windows - k-meleon
  124 : windows - lunascape
  123 : debian - iceweasel
  120 : linux - seamonkey
  119 : debian - mozilla
  112 : windows - netscape
  110 : playstation - webkit
  104 : fedora - firefox
  91 : mac os - opera
  78 : android - firefox
  75 : mac os - camino
  74 : windows - maxthon
  74 : suse - firefox
  71 : linux - iceweasel
  71 : mac os - mozilla
  68 : windows - flock
  66 : ubuntu - chromium
  57 : windows - brave
  55 : windows - palemoon
  54 : gentoo - firefox
  54 : android - opera mini
  52 : xbox - chrome
  50 : playstation - silk
  50 : linux - links
  49 : ios - instagram
  49 : android - puffin
  46 : mac os - webkit
  43 : windows - vivaldi
  42 : linux - epiphany
  41 : ios - webkit
  41 : android - edge
  40 : mac os - edge
  39 : netbsd - firefox
  36 : linux - midori
  35 : windows - rockmelt
  34 : linux - fennec
  34 : linux - safari
  34 : solaris - firefox
  34 : solaris - mozilla
  31 : mac os - rockmelt
  30 : linux - arora
  30 : mac os - icab
  30 : mac os - seamonkey
  29 : mac os - brave
  28 : linux - iron
  27 : openbsd - firefox
  27 : windows - firebird
  27 : ios - chrome
  26 : linux - flock
  25 : mac os - omniweb
  24 : freebsd - firefox
  23 : linux - swiftfox
  23 : mac os - netscape
  23 : linux - vivaldi
  23 : ios - opera mini
  23 : windows - avant
  22 : fedora - mozilla
  22 : mac os - flock
  21 : android - fennec
  21 : debian - epiphany
  21 : windows - waterfox
  21 : windows - fennec
  20 : linux - netscape
  19 : windows - qqbrowser
  19 : windows - coc coc
  18 : centos - firefox
  18 : fedora - chrome
  17 : android - opera mobi
  16 : mac os - iron
  16 : windows - phoenix
  15 : mint - firefox
  15 : mac os - yandex
  15 : windows - webkit
  15 : windows - arora
  15 : linux - edge
  15 : freebsd - konqueror
  15 : windows phone - iemobile
  13 : fedora - seamonkey
  13 : windows - whale
  13 : linux - kindle
  13 : openbsd - brave
  13 : windows - opera mini
  13 : android - instagram
  13 : ubuntu - epiphany
  13 : gentoo - links
  11 : nintendo - opera
  11 : linux - chromium
  10 : windows - ucbrowser
  10 : linux - icecat
  10 : suse - seamonkey
  10 : ios - safari
  9 : windows - konqueror
  9 : debian - konqueror
  8 : playstation - safari
  8 : windows - minimo
  8 : fedora - konqueror
  8 : mac os - chimera
  8 : symbian - opera mobi
  7 : ios - brave
  7 : mint - chrome
  7 : windows - icedragon
  7 : freebsd - mozilla
  7 : netbsd - chrome
  7 : suse - mozilla
  7 : symbian - opera mini
  7 : beos - mozilla
  7 : kubuntu - konqueror
  6 : linux - yandex
  6 : freebsd - chrome
  6 : linux - brave
  6 : symbian - opera
  6 : ios - firefox
  6 : android - coc coc
  6 : mint - mozilla
  6 : netbsd - links
  6 : linux - firebird
  6 : mandriva - firefox
  6 : slackware - firefox
  5 : ubuntu - chrome
  5 : linux - netsurf
  5 : windows - opera mobi
  5 : windows phone os - iemobile
  5 : freebsd - seamonkey
  5 : solaris - opera
  5 : linux - iceape
  5 : solaris - konqueror
  5 : dragonfly - firefox
  5 : xbox - ie
  5 : windows - comodo dragon
  5 : slackware - chrome
  5 : android - ucbrowser
  5 : openbsd - konqueror
  5 : mac os - links
  5 : mac os - silk
  5 : linux - samsung browser
  4 : mac os - waterfox
  4 : gentoo - mozilla
  4 : debian - conkeror
  4 : gentoo - iceweasel
  4 : windows - basilisk
  4 : ios - gsa
  4 : haiku - mozilla
  4 : openbsd - mozilla
  4 : mac os - fennec
  4 : windows - slim
  4 : ubuntu - opera
  4 : gnu - lynx
  4 : netbsd - mozilla
  4 : symbian - webkit
  4 : mac os - ie
  4 : debian - firefox
  4 : linux - webkit
  4 : fedora - epiphany
  4 : mint - opera
  4 : os/2 - seamonkey
  4 : freebsd - epiphany
  3 : linux - phoenix
  3 : unix - opera
  3 : openbsd - chrome
  3 : raspbian - chromium
  3 : solaris - netscape
  3 : amigaos - seamonkey
  3 : debian - links
  3 : symbian - safari
  3 : aix - mozilla
  3 : netbsd - konqueror
  3 : windows - khtml
  3 : kubuntu - mozilla
  3 : freebsd - opera
  3 : android - whale
  3 : linux - puffin
  3 : mac os - vivaldi
  3 : freebsd - links
  3 : centos - seamonkey
  3 : windows phone - webkit
  3 : mint - brave
  3 : linux - waterfox
  3 : linux - minimo
  3 : windows - avast secure browser
  3 : linux - maemo browser
  3 : risc os - netsurf
  3 : mandriva - mozilla
  3 : debian - w3m
  3 : windows phone - chrome
  2 : centos - mozilla
  2 : linux - opera mini
  2 : gentoo - brave
  2 : suse - epiphany
  2 : suse - chrome
  2 : ios - facebook
  2 : suse - konqueror
  2 : windows - iridium
  2 : dragonfly - konqueror
  2 : debian - opera
  2 : netbsd - safari
  2 : windows - avg secure browser
  2 : windows - mosaic
  2 : ubuntu - iceweasel
  2 : unix - chrome
  2 : windows - android browser
  2 : ios - yandex
  2 : netbsd - midori
  2 : kubuntu - firefox
  2 : windows - iceweasel
  2 : beos - firefox
  2 : android - baiduboxapp
  2 : android - miui browser
  2 : tizen - safari
  2 : arch - webkit
  2 : unix - links
  2 : freebsd - k-meleon
  2 : android - opera touch
  2 : android - mobile safari
  2 : mac os - opera mobi
  2 : ios - opera touch
  2 : ios - edge
  2 : linux - silk
  2 : openbsd - epiphany
  2 : openbsd - opera
  2 : freebsd - midori
  2 : linux - chrome headless
  2 : os/2 - mozilla
  2 : xbox - chrome headless
  2 : solaris - mosaic
  2 : linux - opera mobi
  2 : solaris - epiphany
  2 : solaris - firebird
  2 : openvms - mozilla
  2 : aix - netscape
  1 : linux - comodo dragon
  1 : openbsd - minimo
  1 : openbsd - seamonkey
  1 : windows mobile - edge
  1 : mac os - firebird
  1 : beos - seamonkey
  1 : xbox - netscape
  1 : mac os - whale
  1 : mac os - opera mini
  1 : netbsd - netsurf
  1 : mac os - skyfire
  1 : debian - chrome
  1 : netbsd - seamonkey
  1 : kubuntu - opera
  1 : blackberry - safari
  1 : symbian - opera tablet
  1 : unix - webkit
  1 : slackware - mozilla
  1 : android - safari
  1 : slackware - konqueror
  1 : tizen - tizenbrowser
  1 : fedora - yandex
  1 : android - mozilla
  1 : unix - mozilla
  1 : xbox - webkit
  1 : android - slim
  1 : arch - midori
  1 : gentoo - seamonkey
  1 : bsd - safari
  1 : opensolaris - opera
  1 : arch - firefox
  1 : windows - opera tablet
  1 : mac os - phoenix
  1 : windows - iemobile
  1 : zenwalk - mozilla
  1 : windows - chromium
  1 : android - webkit
  1 : android - kindle
  1 : netbsd - chromium
  1 : mageia - firefox
  1 : tizen - samsung browser
  1 : linux - k-meleon
  1 : netbsd - vivaldi
  1 : windows phone - firefox
  1 : windows - midori
  1 : windows - blazer
  1 : windows - conkeror
  1 : windows - bolt
  1 : unix - ie
  1 : windows - tesla
  1 : linux - conkeror
  1 : gentoo - epiphany
  1 : linux - ie
  1 : mandriva - seamonkey
  1 : solaris - links
  1 : windows - icab
  1 : haiku - seamonkey
  1 : qnx - mozilla
  1 : openbsd - links
  1 : aix - mosaic
  1 : unix - opera mini
  1 : android - gobrowser
  [*]
  Второй режим – это «шаблон». В этом режиме шаблон совершает выборки из БД по основным парам (не все существующие пары «ОС – браузер» доступны в этом режиме); Третий режим - это «свой запрос». В этом режиме совершаются произвольные запросы к БД. Это наиболее гибкий вариант.
  Спойлер: примеры sql запросов к json - записям БД

  [*]

  -- вставка json записи в поле info таблицы jsontb2
  
  INSERT INTO jsontb2 (info) VALUES ('{"ua":"Mozilla/5.0 (X11; GNU/Linux) AppleWebKit/537.36 (KHTML, like Gecko) Chromium/72.0.3626.122 Chrome/72.0.3626.122 Safari/537.36 Tesla QtCarBrowser","browser":{"name":"tesla"},"engine":{"name":"blink","version":"72.0.3626.122"},"os":{"name":"linux"},"device":{"vendor":"tesla","type":"embedded"},"cpu":{}}
  ')
  
  
  -- выборка UA из таблицы jsontb2 из поля info, где операционная система android
  
  SELECT info ->> 'ua' AS ua FROM jsontb2 WHERE info -> 'os' ->> 'name' = 'android';
  
  
  -- выборка UA из таблицы jsontb2 из поля info, где операционная система android и браузер chrome
  
  SELECT info ->> 'ua' AS ua
  FROM jsontb2
  WHERE info -> 'os' ->> 'name' = 'android'
  AND info -> 'browser' ->> 'name' = 'chrome
  
  
  -- выборка из таблицы jsontb2 из поля info названий всех операционных систем, имеющихся в БД
  SELECT info -> 'os' ->> 'name' as name
  FROM jsontb2

  [*]
  Как совершать запросы к json-записям можно посмотреть по этой ссылке https://www.postgresqltutorial.com/postgresql-tutorial/postgresql-json/
• OS – это выбор операционной системы для режима «шаблон»
• Browser – это выбор браузера для режима «шаблон»
• Свой запрос – произвольный sql запрос к БД для режима «свой запрос»

Спасибо за внимание.

 

[radv]

А зачем так много частей для одной темы? )

 

[GREXA]

А зачем так много частей для одной темы? )

тоже это интересует)

 

[OlegR]

тоже это интересует)

думаю, что так удобнее воспринимать и делать материал... если модераторы объединят темы - буду не против.

 

[Konrod_m]

А зачем так много частей для одной темы? )

чтобы у знаний и опыта была хотя бы немного адекватная оплата. т.к. запрос на подобные решения есть давно и никак не реализуется, то 3 части эт даже мало. главное конечно, что бы помогло в итоге.

 

[Sanekk]

думаю, что так удобнее воспринимать и делать материал... если модераторы объединят темы - буду не против.

если не объединят , то пусть хоть перелинкуют для удобства восприятия

 

[henry88]

Я рад, что кто-то поделился чем-то о UA, но, пожалуйста, обратите внимание, что содержание этого поста много лет назад, например, код C# внутри Google Chrome версии 55-65, и chrome-builds.data, который он дал в качестве вложения, также должен быть для этого содержания, в то время как последняя версия, которую мы имеем сейчас - 105, о где находится последний файл? Я его не нашел, теперь правильно ли будет заменить в нем содержимое C# сегодня и не подвергать его риску? Я не нашел хорошего способа сделать это, поэтому я использую официальный UA по умолчанию и просто изменяю языковой параметр для страны, в которой расположен IP-адрес.

https://zennolab.com/discussion/threads/anonimnost-v-kazhdyj-zennoposter-ot-useragenta-do-shriftov-chast-2.44575/

 

[OlegR]

Я рад, что кто-то поделился чем-то о UA, но, пожалуйста, обратите внимание, что содержание этого поста много лет назад, например, код C# внутри Google Chrome версии 55-65, и chrome-builds.data, который он дал в качестве вложения, также должен быть для этого содержания, в то время как последняя версия, которую мы имеем сейчас - 105, о где находится последний файл? Я его не нашел, теперь правильно ли будет заменить в нем содержимое C# сегодня и не подвергать его риску? Я не нашел хорошего способа сделать это, поэтому я использую официальный UA по умолчанию и просто изменяю языковой параметр для страны, в которой расположен IP-адрес.

https://zennolab.com/discussion/threads/anonimnost-v-kazhdyj-zennoposter-ot-useragenta-do-shriftov-chast-2.44575/

спасибо за совет) файл chrome-builds.data находится во вложении user_agent_create_2.7z к Шаблоны для работы с User Agent (часть 1) . Смотря о каком риске идёт речь (?), можно валидировать UA, создавать профили под определенный UA... Тут есть предложение о синхронизация UA и параметров браузера, например.

 

[henry88]

спасибо за совет) файл chrome-builds.data находится во вложении user_agent_create_2.7z к Шаблоны для работы с User Agent (часть 1) . Смотря о каком риске идёт речь (?), можно валидировать UA, создавать профили под определенный UA... Тут есть предложение о синхронизация UA и параметров браузера, например.

Здравствуйте, поскольку я перевожу с китайского на русский, возможно, я выразился недостаточно ясно, "chrome-builds.data", который я упоминал ранее, предназначен для содержимого файла, если я открою его в TXT-тексте, я обнаружу, что содержимое касается сборок между 55-65, и я не нашел никаких сборок о новой версии браузера, я попробую позже. Я попробую ваш метод позже.
Кстати, я пришлю вам несколько тестовых сайтов.

https://abrahamjuliot.github.io/creepjs/
https://webbrowsertools.com/useragent/
https://pixelscan.net/
https://iphey.com
http://f.vision/

 

[OlegR]

Здравствуйте, так как я переводил с китайского на русский, возможно я выразился не достаточно ясно, "chrome-builds.data", о котором я говорил ранее, предназначен для содержимого файла, если вы откроете его ноутом, то найдете содержимое билдов между 55-65, а билдов для новой версии браузера я не нашел, нажму на кнопку позже. Я попробую ваш метод позже.
Кстати, я пришлю вам несколько тестовых сайтов.

https://abrahamjuliot.github.io/creepjs/
https://webbrowsertools.com/useragent/
https://pixelscan.net/
https://iphey.com
http://f.vision/

да, Вы правы) билды старенькие ... попробуйте вот это . Делаете максимально рандомный профиль браузера и запускаете зенку для генерации ua в список, дубли только потом удалите ))

 

[henry88]

да, Вы правы) билды старенькие ... попробуйте вот это . Делаете максимально рандомный профиль браузера и запускаете зенку для генерации ua в список, дубли только потом удалите ))

Посмотреть вложение 97414

Да, это метод, который я использую сейчас, но версия браузера, я буду устанавливать последние 10-15 версий между, такие как Google Chrome 95-105, Firefox аналогичные 95-104, я пытался статистики, текущие официальные данные UA по-прежнему в основном WIN10, через переменную {-Profile.UserAgent-} написать текст для выполнения 2000 + к 5000, затем переходите к дубликатам, уникальных всего 200 или около того, то
Я надеюсь, что все пойдут голосовать

https://zennolab.com/discussion/threads/dobavit-nastrojku-vybora-os-v-profile.105259/

https://gs.statcounter.com/
https://gs.statcounter.com/os-market-share

 

[OlegR]

Да, это метод, который я использую сейчас, но версия браузера, я буду устанавливать последние 10-15 версий между, такие как Google Chrome 95-105, Firefox аналогичные 95-104, я пытался статистики, текущие официальные данные UA по-прежнему в основном WIN10, через переменную {-Profile.UserAgent-} написать текст для выполнения 2000 + к 5000, затем переходите к дубликатам, уникальных всего 200 или около того, то
Я надеюсь, что все пойдут голосовать

https://zennolab.com/discussion/threads/dobavit-nastrojku-vybora-os-v-profile.105259/

https://gs.statcounter.com/
https://gs.statcounter.com/os-market-share

какого рода Ваши проекты так чувствительны к профилю браузера? Насколько я понимаю, крупные сервисы типа фб и не очень крупные использую ИИ для анализа поведения и т.д. Скажем, что есть 1000 параметров, включая профиль браузера, по которым ИИ определяет бота. У Вас есть рецепт обхода такой защиты? Интереса ради)

 

[henry88]

какого рода Ваши проекты так чувствительны к профилю браузера? Насколько я понимаю, крупные сервисы типа фб и не очень крупные использую ИИ для анализа поведения и т.д. Скажем, что есть 1000 параметров, включая профиль браузера, по которым ИИ определяет бота. У Вас есть рецепт обхода такой защиты? Интереса ради)

Не так чувствительны, просто в пределах моих возможностей, чтобы попытаться сделать хорошую работу, такие как некоторые другие сообщения форума упомянул UA тему, но все не удалось решить идеально, я не нашел на данный момент, C# аспекты я не слишком знаком с, так что, наконец, выбрать официальный UA
Насчет файла конфигурации, это здорово, но @Santorini давно не обновлял его.

https://zennolab.com/discussion/threads/sozdanie-i-progrevanie-profilej-nagulivanie-kuki-dlja-dalnejshix-registracij.70865/