Отдельные Proxy для каких-то URL/доменов (прокси правила в браузере)

Lord_Alfred

Client
Регистрация
09.10.2015
Сообщения
3 916
Благодарностей
3 867
Баллы
113
В последнее время всё чаще приходится использовать 2 прокси провайдера: первый с засранными и дешевыми прокси (но с отличной скростью + аптаймом), а второй с дорогими приватными прокси, но с ограничением по потокам или трафику.

Хочется иметь возможность в браузере пустить часть URL по маске/регулярке через какой-то другой прокси (второго типа), а основные данные чтоб передавались через прокси первого типа. Это поможет ускорить прохождение множества защит, которые встраиваются (рекапча как яркий пример), и в целом позволит использовать различные хитрые сценарии по экономии трафика/потоков на дорогих прокси-провайдерах.

Предлагаю сделать метод:
C#:
public void SetProxy(
   string proxyString,
   bool useProxifier,
   bool emulateGeolocation,
   bool emulateTimezone,
   bool emulateWebrtc,

   IEnumerable<string> regexUrls
)
, где последний параметр - как раз будет списком урлов-регулярок для работы устанавливаемого прокси.

PS: всё это можно реализовать через get/post, но нужно переписывать и парсить очень много параметров, которые могут случайным образом добавляться и мешать.
 

Iv1

Client
Регистрация
21.02.2016
Сообщения
1 950
Благодарностей
774
Баллы
113
Хитро...
Лучше сразу привести пример более понятный как оно должно переключаться и сразу условия переключения прямо читабельным примером.
 

Lord_Alfred

Client
Регистрация
09.10.2015
Сообщения
3 916
Благодарностей
3 867
Баллы
113
Оно будет просто для указанных url'ов использовать какие-то другие прокси. Это как черные списки или как instance.ChangeResponse, только интереснее
 

dimafatality

Client
Регистрация
19.01.2014
Сообщения
265
Благодарностей
255
Баллы
63
Апну, есть какое-нибудь адекватное решение?

Нужно сделать подгрузку тяжелых JS с одной прокси, а остальные запросы с других.
Как бы можно сделать через правила проксифаера, но возникает проблема - невозможно юзать "сессии" проксей (когда ип привязывается к сессии, которую мы передаем в юзернейме. Например, у Люминати).
 

Gfoblin

Client
Регистрация
30.05.2013
Сообщения
4 605
Благодарностей
1 015
Баллы
113
Гемор в том что придётся парсить каждый запрос... есть плагин FoxyProxy - есть там эти настройки, тупит при нескольких правилах довольна сильно...
 
  • Спасибо
Реакции: Nick

henry88

Client
Регистрация
31.12.2018
Сообщения
71
Благодарностей
25
Баллы
18
Реализация функции, подобной Proxifier, выше, чтобы указать, что соответствующие URL не переходят на прокси-сервер - это замечательно, и лучше всего указывать такие форматы, как jpg, png, mp3, mp4, js, avi и т.д.
 
  • Спасибо
Реакции: lbvf65

RootX

Client
Регистрация
25.08.2020
Сообщения
26
Благодарностей
2
Баллы
3
Очень нужная функция, как раз на днях столкнулся с такой проблемой, точнее проблема была давно, просто начал переоптимизировать проект, для ускорения работы и в итоге ничего не вышло из-за этой проблемы, невозможности разделить трафик на с прокси/без
 

RootX

Client
Регистрация
25.08.2020
Сообщения
26
Благодарностей
2
Баллы
3
rostonix,
sergodjan66

обратите внимание на инициативу, очень полезная фича, в идеале что бы проксирование работало не только в пределах целого домена, а по регулярке на отдельных его эндпоинтах, это умеет плагин FoxyProxy, о нем уже писали в этой теме теме, но в итоге реализовали просто белый/черный список, это как бы совсем не маршрутизация трафика, было бы полезно реализовать задумку, многие шаблоны получилось бы сделать более резко работающими которые не представляется возможным полностью на post|get переписать.
 
  • Спасибо
Реакции: Castaneda

material

Client
Регистрация
23.03.2021
Сообщения
329
Благодарностей
124
Баллы
43
Присоединяюсь к инициативе. Реализация конечно несколько сложная, думаю на это уйдет не мало времени, даже если и начать всё это делать, но по итогу функционал будет востребован. Тем более если неокрепшим умам объяснить возможности функционала в FAQ с примерами применения.
 
  • Спасибо
Реакции: Castaneda

Nick

Client
Регистрация
22.07.2014
Сообщения
1 984
Благодарностей
817
Баллы
113
Да, это очень актуальная штука
 

Asmus003

Client
Регистрация
25.03.2018
Сообщения
274
Благодарностей
67
Баллы
28
подкину юзкейс - есть продавцы прокси, которые блочат доступ к гугловским штуковинам. например, рекапча. можно было бы с помощью этой темы решить эту проблему? а то приходится еще больше прокси покупать под разные задачи...
 

Phoenix78

Client
Read only
Регистрация
06.11.2018
Сообщения
11 789
Благодарностей
5 721
Баллы
113
подкину юзкейс - есть продавцы прокси, которые блочат доступ к гугловским штуковинам. например, рекапча. можно было бы с помощью этой темы решить эту проблему? а то приходится еще больше прокси покупать под разные задачи...
что решить то ? это тема предложений для разработчиков зенки...
эта тема не реализована в жизнь.
 

Castaneda

Client
Регистрация
24.05.2019
Сообщения
873
Благодарностей
299
Баллы
63
В последнее время всё чаще приходится использовать 2 прокси провайдера: первый с засранными и дешевыми прокси (но с отличной скростью + аптаймом), а второй с дорогими приватными прокси, но с ограничением по потокам или трафику.

Хочется иметь возможность в браузере пустить часть URL по маске/регулярке через какой-то другой прокси (второго типа), а основные данные чтоб передавались через прокси первого типа. Это поможет ускорить прохождение множества защит, которые встраиваются (рекапча как яркий пример), и в целом позволит использовать различные хитрые сценарии по экономии трафика/потоков на дорогих прокси-провайдерах.

Предлагаю сделать метод:
C#:
public void SetProxy(
   string proxyString,
   bool useProxifier,
   bool emulateGeolocation,
   bool emulateTimezone,
   bool emulateWebrtc,

   IEnumerable<string> regexUrls
)
, где последний параметр - как раз будет списком урлов-регулярок для работы устанавливаемого прокси.

PS: всё это можно реализовать через get/post, но нужно переписывать и парсить очень много параметров, которые могут случайным образом добавляться и мешать.
тоже сталкивался с такой проблемой. Решал сильной оптимизацией, отключением всего, что возможно и частично переводил на POST-GET, но нормального потребления трафика добиться очень сложно.

Поддерживаю идею
 

Yuriy Zymlex

Moderator
Команда форума
Регистрация
24.10.2016
Сообщения
6 525
Благодарностей
3 375
Баллы
113
Есть исправленная таска по CEF, теперь должен работать --proxy-bypass-list.
Как решение подходит?
 
  • Спасибо
Реакции: Bas и udder

dimafatality

Client
Регистрация
19.01.2014
Сообщения
265
Благодарностей
255
Баллы
63
Есть исправленная таска по CEF, теперь должен работать --proxy-bypass-list.
Как решение подходит?
Ну это все-таки 'bypass' на ИП машины, вот если бы какой-нибудь --proxy-pac-url=<pac-file-url> пережевывало (ибо вроде бы тоже не работало), тогда было бы интереснее.
 
  • Спасибо
Реакции: Max Gudym

udder

Client
Регистрация
28.03.2017
Сообщения
618
Благодарностей
128
Баллы
43
Только для CEF или для хроминиума этот аргумент подходит?

--proxy-bypass-list="myip.ru" проверил. Установил прокси, при заходе на Myip.ru прокси не работает, это как и надо, но почему в мониторе трафика всеровно при запросе на myip.ru прокси отображается?
 
Последнее редактирование:
  • Спасибо
Реакции: Yuriy Zymlex

Yuriy Zymlex

Moderator
Команда форума
Регистрация
24.10.2016
Сообщения
6 525
Благодарностей
3 375
Баллы
113
  • Спасибо
Реакции: lbvf65 и udder

flexyt2017

Client
Регистрация
02.11.2018
Сообщения
7
Благодарностей
1
Баллы
3
Поддерживаю, очень не хватает такой функции. Пробовал при помощи плагина FoxyProxy, работает некорректно
 

n0n3mi1y

Client
Регистрация
08.03.2017
Сообщения
1 285
Благодарностей
624
Баллы
113
UP!
 

Bas

Client
Регистрация
15.12.2013
Сообщения
636
Благодарностей
263
Баллы
63

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)