- Регистрация
- 09.05.2016
- Сообщения
- 87
- Благодарностей
- 184
- Баллы
- 33
В эпоху цифровизации и автоматизации прокси-серверы становятся неотъемлемой частью многих проектов, позволяя пользователям эффективно управлять потоками данных, обеспечивать анонимность и обойти различные ограничения. Для разработчиков, работающих с такими инструментами, как ZennoPoster, наличие надежных прокси становится критически важным для выполнения задач, таких как парсинг данных, работа с API, регистрация аккаунтов и многое другое. Однако, цена на IPv4 прокси может достигать от 30 до нескольких сотен рублей за единицу, что существенно увеличивает затраты, особенно если необходимо использовать десятки или даже тысячи прокси-серверов.
К счастью, существуют альтернативные подходы, которые позволяют получить доступ к высококачественным прокси без значительных затрат. Одним из таких решений является преобразование VPN-протоколов, таких как Vmess, Vless, Shadowsocks, Trojan и WireGuard, в SOCKS5 прокси. Это открывает новые возможности для автоматизации, так как такие прокси могут быть получены совершенно бесплатно и обеспечивают не только высокий уровень анонимности, но и стабильную скорость интернет-соединения.
Применение прокси
Прокси, преобразованные из VPN-протоколов, идеально подходят для выполнения самых различных задач, включая:
- Парсинг данных: Позволяют собирать информацию с различных веб-ресурсов без риска блокировок, так как каждая операция может выполняться с использованием уникального IP-адреса.
- Работа с API: Обеспечивают доступ к различным API, минимизируя вероятность превышения квот или блокировок от сервиса.
- Регистрация аккаунтов: Упрощают процесс регистрации и управления множеством аккаунтов на различных платформах, позволяя каждому созданному аккаунту иметь уникальный IP регистрации.
Протоколы Vmess, Vless, Shadowsocks, Trojan и WireGuard
Vmess — это проприетарный протокол, используемый в проектах на базе V2Ray. Он предназначен для обеспечения безопасного соединения и защиты от блокировок, а также поддерживает шифрование данных, что делает его идеальным для обхода цензуры.
Vless — это более новая версия Vmess, которая предлагает улучшенную производительность и безопаснее в плане использования, так как не требует аутентификации на уровне протокола. Это снижает вероятность утечки информации и делает его более легким в использовании.
Shadowsocks — это широко используемый прокси-протокол, который также обеспечивает шифрование данных и позволяет обходить интернет-цензуру. Его простота и эффективность в обеспечении безопасности привели к его популярности среди пользователей во многих странах.
Trojan — это еще один протокол, который маскирует трафик под HTTPS-запросы, что делает его труднее для обнаружения. Это позволяет пользователям обходить ограничения и сохранять анонимность в интернете.
WireGuard — это современный VPN-протокол, который отличается высокой производительностью и простотой в использовании. Он предлагает эффективные методы шифрования и установления соединений, что делает его идеальным выбором для современных приложений, требующих надежного соединения.
Инструменты для работы с прокси
Для использования вышеперечисленных протоколов и их преобразования в SOCKS5 прокси следует обратить внимание на проект xray-core, который предоставляет мощные средства для управления трафиком и обеспечения анонимности. Xray-core поддерживает все перечисленные протоколы и позволяет пользователям гибко настраивать их в зависимости от своих нужд.
Для удобства работы с xray-core и настройки прокси можно использовать CLI клиент xray-knife, доступный на GitHub по следующему адресу: xray-knife. Этот инструмент облегчает настройку, управление и использование прокси, позволяя пользователям быстрее и эффективнее достигать своих целей автоматизации.
Шаблон ZennoPoster ProxyHab: Плюсы и Минусы
Шаблон ZennoPoster ProxyHab предлагает множество возможностей для автоматизации процесса сбора и проверки прокси-серверов на основе VPN-протоколов. Однако, как и любое решение, он имеет свои плюсы и минусы, которые стоит учесть при его использовании.
Плюсы
- Полная автоматизация процесса: Шаблон обеспечивает полную автоматизацию сбора и первичной проверки VPN, что существенно экономит время и усилия пользователей.
- Масштабируемость: Пользователи могут поднять от нескольких штук до нескольких сотен прокси из VPN с минимальными затратами времени и ресурсов. Это позволяет легко адаптироваться под любые задачи, требующие разных объемов прокси.
- Высокая стабильность работы: ProxyHab демонстрирует высокую стабильность работы, что критично при выполнении регулярных задач автоматизации, связанных с веб-скрейпингом и обработкой данных. С помощью данного решения я смог зарегистрировать более 40 000 аккаунтов в нескольких сервисах, что подтверждает его эффективность и надежность.
- Гибкость в использовании: Шаблон может использоваться как в конкретных проектах, так и для общего использования — прокси можно собрать, а затем применять их в других проектах или программах. Это делает его универсальным инструментом.
- Низкие ресурсозатраты: Вся работа выполняется без использования веб-браузера в ZennoPoster, что делает процессы крайне быстрыми и существенно экономит ресурсы системы. Каждый поток CLI клиента xray-knife потребляет всего несколько десятков мегабайт оперативной памяти, обеспечивая при этом высокую производительность.
- Встроенное определение геолокации VPN: Шаблон уже включает функции определения гео VPN, что упрощает задачу выбора необходимых прокси для работы с конкретными сервисами.
- Автоматическое преобразование VPN в прокси: Шаблон автоматически преобразует VPN в SOCKS5 прокси, устраняя необходимость в ручной настройке. Все необходимые проверки и исправления уже реализованы, что позволяет легко работать с любым из протоколов Vmess, Vless, Shadowsocks, Trojan и WireGuard.
- Расширяемость функционала: Пользователи могут самостоятельно расширять функционал шаблона под свои задачи, добавляя новые функции и улучшая существующие.
- Бесплатное создание тысяч прокси: Методика, основанная на использовании VPN, позволяет бесплатно получить тысячи рабочих прокси. Я лично получал чуть больше 3000 рабочих прокси при наличии источников VPN.
- Ненадежные VPN: Иногда попадаются VPN, которые не работают даже после успешной первичной проверки, что может привести к потере времени и ресурсов.
- Неопределенная длительность работы: Данные VPN могут работать от нескольких часов до месяцев, однако нет гарантии стабильной работы на длительный срок. Это требует постоянного мониторинга и проверки актуальности прокси.
- Необходимость контроля CLI клиента: Важно строго контролировать завершение процесса CLI клиента xray-knife, чтобы освободить порты и избежать утечки оперативной памяти. Это требует внимательности и определенных знаний о работе с CLI инструментами.
Для наглядности можно привести несколько скриншотов с примерами с сайтов whoer.net и speedtest.net, которые позволят продемонстрировать некоторые результаты
Несколько примеров с разным ГЕО и разными протоколами. Стоит учитывать, что все они получены с тех источников, которые есть в шаблоне в качестве примера, можно всегда добавить свои источники.
Вот несколько примеров замеров скорости, которые были проведены с помощью системы, работающей на не очень качественном 100-мегабитном канале. Также прилагается эталонный пример замера скорости без использования VPN и прокси.
Также представлены примеры замеров скорости с наших виртуальных прокси-серверов. Обратите внимание, что все данные получены из источников, указанных в шаблоне в качестве примеров. При желании вы можете добавить свои источники.
Также представлены примеры замеров скорости с наших виртуальных прокси-серверов. Обратите внимание, что все данные получены из источников, указанных в шаблоне в качестве примеров. При желании вы можете добавить свои источники.
Принцип работы ProxyHab шаблона ZennoPoster
Шаблон ProxyHab в ZennoPoster функционирует в два этапа, что упрощает процесс сбора и проверки VPN-прокси.
Этап 1: Сбор данных
Первым шагом необходимо запустить шаблон в режиме "Собираем". Этот режим следует настроить на один поток и одно выполнение. В данном режиме шаблон соберет информацию из источников, указанных в нем, и выведет в логах количество собранных VPN. Это число является важным, поскольку именно по нему будет производиться последующая проверка. Выбор режима осуществляется во входных настройках проекта, что позволяет быстро и удобно переключаться между этапами.
Этап 2: Проверка VPN
После завершения первого этапа необходимо перейти к проверке собранных VPN. Для этого я рекомендую создать два экземпляра шаблона в ZennoPoster: один оставить с названием «Собираем», а второй подписать как «Чекаем». В режиме "Чекаем" нужно указать количество выполнений, которое должно быть на несколько десятков больше, чем число собранных VPN после первого этапа. Также вам потребуется установить число потоков для проверки; я рекомендую начинать с 10 потоков и постепенно увеличивать это значение в зависимости от нагрузки на систему и потребления ресурсов.
После завершения проверки всех VPN в папке DATA будет создан файл Good_Proxy.txt, в котором окажутся все прошедшие проверку VPN с добавленными комментариями, содержащими информацию об IP-адресах и геолокации. Также в этой папке будет находиться каталог Country, в который все VPN будут отсортированы по странам в текстовые документы. Хотя из-за дубликатов это не всегда работает идеально, данный подход остается вполне работоспособным.
Важно отметить, что при работе с протоколом VMESS, данные хранятся в шифрованном виде Base64, что затрудняет выборку по данным из описания. В таких случаях может помочь сортировка по файлам, что позволит более эффективно управлять собранными данными.
Таким образом, использование шаблона ProxyHab в ZennoPoster обеспечивает автоматизированный и упрощенный процесс сбора и проверки VPN-прокси.
Пример интеграции и проверка работоспособности
Помимо основного шаблона ProxyHab, в проекте также имеется вспомогательный шаблон Test_Job, который иллюстрирует, как интегрировать VPN-прокси в любой проект и использовать их по своему усмотрению. Этот шаблон служит примером для тестирования и ознакомления с принципами добавления прокси.
Важно отметить, что вы можете не интегрировать данное решение напрямую в ваш проект. Альтернативно, вы можете просто поднимать прокси и использовать их в других проектах, что позволит вам избежать необходимости переделывать уже работающие приложения или использовать их в различных программах, помимо ZennoPoster.
С помощью данного подхода вы получаете локальные прокси в формате socks5://127.0.0.1:[PORT]. Эти прокси, как и любые другие, можно использовать в любых приложениях, поддерживающих прокси-соединения. Однако имейте в виду, что такие локальные прокси будут работать только на данном компьютере, так как они запущены локально.
Принцип работы преобразования VPN-прокси будет описан подробнее в следующем разделе. Важно понимать, что настройка и манипуляции с локальными прокси требуют соответствующей конфигурации ваших приложений, чтобы они могли правильно взаимодействовать с установленными соединениями.
Таким образом, использование шаблона Test_Job позволяет удобно интегрировать прокси в существующие рабочие процессы.
Принцип преобразования VPN Vmess, Vless, Shadowsocks, Trojan и WireGuard в SOCKS5 прокси
В этом разделе мы подробно рассмотрим, как происходит процесс преобразования VPN в прокси-сервер.
Этап 1: Подготовка и запуск CLI-клиента
На начальном этапе ZennoPoster подготавливает данные и инициирует запуск CLI-клиента xray-knife, который находится в папке SYS в файле proxy.exe. В этот клиент передается команда на подключение к VPN и создание локального SOCKS5-прокси с указанным портом. Формат команды выглядит следующим образом:
Bash:
proxy -c "Наш VPN" -p "Порт прокси"После запуска CLI-клиента ZennoPoster сохраняет ID запущенного процесса. CLI-клиент xray-knife, основываясь на xray-core, выполняет все необходимые настройки, включая шифрование и дешифрование трафика, организует передачу данных в сеть и прослушивание порта, который мы указали для прокси.
В ZennoPoster мы просто передаем необходимые данные — информация о VPN и порт прокси — в CLI-клиент, который устанавливает само соединение. После этого в ZennoPoster полученный прокси можно использовать или передавать в другой проект или программу в формате
socks5://127.0.0.1:[PORT], где порт может менять значения, но протокол и IP остаются статичными.Этап 3: Завершение работы и освобождение ресурсов
Когда все необходимые действия с прокси, полученным из VPN, завершены, необходимо отправить команду на завершение процесса по ID, который был сохранен при запуске. Также важно освободить порт, который был зарезервирован.
Порты хранятся в текстовом файле по пути
{-Variable.TrashFolder-}\VPN_PROXY_PORT.txt. Их нужно добавлять при запуске нового клиента, проверяя, что порт не занят, и удалять после завершения работы CLI-клиента. Это освободит порт для последующего использования и предотвратит ошибки, связанные с попытками запуска программы с уже занятым портом. Файл помещен в TrashFolder специально, чтобы не загромождать папку проекта, оставаясь при этом доступным для всех необходимых проектов.Полезная информация
Где взять VPN для преобразования их в прокси?
Существует множество источников, откуда можно получить VPN для преобразования их в прокси. Один из популярных вариантов — загрузить их с GitHub, как показано в примерах проекта. Вы также можете находить VPN на специализированных сайтах или форумах. Лично я использовал технику реверс АПИ на некоторых азиатских сайтах и получал от 3200 до 3600 рабочих и стабильных VPN. Это гораздо больше, чем 500-700, которые представлены в примере проекта, так что возможности получаемых прокси могут быть значительно шире.
Другим источником являются социальные сети, такие как ВКонтакте (VK) и Telegram (TG), где есть тематические группы и каналы, выкладывающие базы рабочих VPN. Качество и количество получаемых VPN-прокси напрямую зависит от источников, которые вы сможете обнаружить.
Вариативность использования
Вы не ограничены только сбором VPN; у вас есть возможность использовать свои VPN или создать движок, который будет автоматически собирать тестовые VPN с бурж-сайтов. Такие VPN зачастую предоставляются на ограниченный срок, от нескольких часов до нескольких дней, и они, как правило, являются рабочими и стабильными. Чтобы реализовать автоматический сбор, придется потрудиться над созданием подобного движка.
Кроме того, вы можете передавать данные не по одному командой, а использовать файлы для получения динамических прокси, которые могут менять соединение каждые N минут. Инструкции по реализации подобных возможностей можно найти в документации по адресу: xray-knife GitHub.
Зачем использовать VPN, когда есть бесплатные прокси?
Следует отметить, что большинство бесплатных прокси обычно сильно перегружены или ненадежны, что сводит к нулю их анонимность. Я не встречал бесплатных публичных прокси, которые могли бы выдавать хоть 20-30 мегабит скорости, не говоря уже о 90 мегабитах, что крайне редко встречается даже у платных решений.
Подводные камни VPN
Есть некоторые нюансы, которые могут представлять собой проблему. Например, многие VPN блокируют торренты, а также сервисы для проверки скорости, такие как Speedtest и подобные. Это может делать проверку скорости работы VPN сложной. Могут возникнуть трудности и при специфических задачах с нестандартными протоколами.
Что делать, если антивирус или Windows ругается на proxy.exe?
Если ваш антивирус или Windows выдает предупреждения о proxy.exe, рекомендуется добавить его в исключения. Данная проблема может возникать из-за того, что приложение работает во множестве потоков, что иногда вызывает подозрение и может выглядеть как вредоносное ПО. Однако у xray-knife открытый код, и за год использования у меня не возникло никаких проблем.
Заключение
Эта работа посвящена шаблону, однако, как видно, информации накопилось много. В архивах вы найдете все необходимые материалы (если я что-то упустил, пожалуйста, дайте знать). Я снизил версию до ZennoPoster 7.2.1.0, ниже этой версии у меня не получалось запустить. Надеюсь, что все у вас получится, и информация окажется полезной. Не забывайте благодарить за работу специальной кнопкой "Спасибо", голосовать согласно правилам конкурса и задавать вопросы, если что-то осталось непонятным.
UPD: 10.12 [ProxyHab_v2.zip]
Добавил сбор с 3 сайтов [ProxyHab_v2.zip]
Работает по простому через браузер, дополнительные небольшие настройки можно сделать во входных настройках.
Добавилось 100-200 живых ВПН-Прокси, так что вполне неплохо. Расширилось немного ГЕО. Оптимизация сбора через сайты не какая, так что кто хочет серьезно заняться, можете поправить.
Ответы на популярные вопросы
Где взять прокси, который получается из ВПН?
Запустите шаблон Test_Job, дойдите в нем до пункта 1, из поля отмеченного 2 скопируйте и вставьте прокси в нужную вам программу. При необходимости измените формат. Для серьезной работы, а не для тестов, лучше написать нормальное решение!
Почему выложил? А не стал продавать или не оставил себе.
Не стал делать из этого продукт потому что слишком много технических нюансов, да и времени будет это отъедать кучу. А много за такое не возьмешь, потому что смысл тогда теряется.
Себе не оставил, потому что они мне не нужно, пользовался я им активно последний раз примерно пол года назад. А что бы все работало отлично, надо по идее постоянно собирать новые источники для сбора. Править по мелочи движок и т.д. Я перешел на другую систему на IPv6 (Да IPv6 прокси актуальны и большинство крупных ресурсов их поддерживают без проблем, по крайней мере нужных мне), так что потребность отпала в этом решении.
Последнее редактирование:
