Предварительная выборка кэша и обмен им между аккаунтами для экономии полосы пропускания

[morpheus93]

Здравствуйте,

кажется, что для успешной работы в IM требуется все больше и больше "Резидентных прокси".
К сожалению, провайдеры берут плату за используемый трафик за ГБ, поэтому простой создатель аккаунта может стать довольно дорогим.

Я думаю, что лучший подход заключается в предварительной выборке всех необходимых файлов (картинки, если они включены, css файлы, javascript...) в локальный кэш, а затем напрямую получать данные оттуда при каждом запуске, например, бота-создателя аккаунта. Это позволило бы сэкономить около 70% трафика и, следовательно, значительные затраты на пропускную способность.

Подскажите, пожалуйста, как это можно реализовать в проекте ZP наиболее простым способом? Уже думал использовать локальный "Squid proxy" для кэширования и использовать этот прокси для проекта Zenno (в дополнение к необходимому Socks5/Http прокси для анонимности). Но я не уверен, как правильно реализовать такую возможность и не нарушить анонимность. Может быть можно запустить одного бота без прокси/с дешевым дата-центром, чтобы он забирал все данные в профиль, а потом (при использовании дорогого жилого прокси) загружал оттуда большую часть нужных данных.

Спасибо, что поделились своими идеями!

Переведено с помощью www.DeepL.com/Translator (бесплатная версия)

 

[dimafatality]

https://zennolab.com/discussion/threads/otdelnye-proxy-dlja-kakix-to-url-domenov-proksi-pravila-v-brauzere.79333/

Голосуй.
Я адекватной реализации так и не нашел.

 

[Yuriy Zymlex]

Если используются постоянные аккаунты, то есть профиль-папки, но каждая будет хранить кеш у себя и дублировать его.

В идеале нужен кеширующий прокси на своей стороне.

 

[one]

идеале нужен кеширующий прокси на своей стороне.

Я тоже хотел это заявить, а потом подумал как поставить его перед проксями... Речь же о проксях в стартопосте.

 

[Gfoblin]

Я тоже хотел это заявить, а потом подумал как поставить его перед проксями... Речь же о проксях в стартопосте.

parent прокси в том же 3proxy, но херня в том, что теперь везде https сквозняк и в кеш ничего не падает просто )
в Squid вроде есть возможность подменить сертификат, но хз как там насчёт родительских проксей.

 

[one]

parent прокси в том же 3proxy, но херня в том, что теперь везде https сквозняк и в кеш ничего не падает просто )
в Squid вроде есть возможность подменить сертификат, но хз как там насчёт родительских проксей.

Я давно уже со Squid неработал, но думаю в связи с этой свистопляской SSL, должны быть в нем какие то изминения. А так да, палка о двух концах.

 

[Gfoblin]

Вообще по моему "Резидентных прокси" с оплатой за Гб - чистое на*балово )
Можно подумать юзеры платять погигабайтно )

 

[Yuriy Zymlex]

Как вариант, можно попробовать копировать кеш из одно папки в другую, но есть вероятность проблем, если что-то не так сделать.

 

[morpheus93]

Alternatively, you can try copying the cache from one folder to another, but there is a possibility of problems if you do something wrong.

Спасибо за подсказку. Но насколько это рискованно с точки зрения анонимности? Я имею в виду, нет ли в кэше уникальных частей (как в случае с куки), по которым вас можно отследить?

 

[Yuriy Zymlex]

Спасибо за подсказку. Но насколько это рискованно с точки зрения анонимности? Я имею в виду, нет ли в кэше уникальных частей (как в случае с куки), по которым вас можно отследить?

Есть: https://en.wikipedia.org/wiki/HTTP_ETag
но не могу сказать где это хранится.

 

[Gfoblin]

Во вспомнил может кому пригодится!
Раньше были быстрые серверные прокси с 50 IP и чуть медленные прокси которые часто отваливались, но там было 5к новых каждый день )
Заходим с быстрых (в вашем случае без учёта трафа) - кешируется, чистим куки, отключаем картинки иногда и в момент реги переключаюсь на "медленные, но уникальные" прокси )

 

[Yuriy Zymlex]

насколько это рискованно с точки зрения анонимности? Я имею в виду, нет ли в кэше уникальных частей (как в случае с куки), по которым вас можно отследить?

Да, такой вариант не подходит, так как данные в кеше являются маркером. Уточнил у разработчиков:

любые метаданные: ETag, Last-Modified, как и сам контент в кэше - могут использоваться как маркеры.

Даже отсутствие кеша является маркером.
upd:

Если рассматривать кэш как ускорение загрузки/экономия траффика, то львиную долю трафика съедят статические ресурсы без маркеров, они как правило хостятся на стороннем cdn и они безопасно кэшируются