Менеджер прокси для больших и маленьких шаблонов

molotok

Client
Регистрация
17.04.2015
Сообщения
755
Реакции
411
Баллы
63
Доброго времени суток!

Позвольте представить вашему вниманию шаблон-заготовку для управления количеством одновременно используемых прокси в шаблоне при работе на сайте.



Что это и когда может пригодиться
Этот шаблон, а точнее пара сниппетов которые помогут вам контролировать кол-во прокси, которые использует шаблон при многопоточной работе, и не допускать превышение лимита.

Например, у вас есть пул из 10-ти ip адресов, вы работаете на сайте, который позволяет одновременно с одного ip работать не более чем в 3 потока. Так вот наш менеджер прокси будет следить, чтобы мы не превышали лимит и не зашли четвертым потоком с одного ip.

Может применяться при парсинге и мультиаккаунтной работе.


Grapholite_7U9E2ON8NW.png


Как пользоваться

После настройки и подлкючения dll (об этом ниже) мы будем пользоваться двумя сниппетами.
Первый сниппет добавляет прокси в базу данных и увеличивает счетчик лимита, второй - удаляет прокси из базы или уменьшает счетчик лимита.

Первый сниппет располагается в начале шаблона, второй в конце работы шаблона. В прикрепленном шаблоне реализована работа на кубиках и есть готовые отдельные сниппеты для использования в коде.


ProjectMaker_BxTscB6v00.png



Как это работает

В этом примере, в списке прокси, находится один ip, мы будем работать на сайте не более чем в 2 потока с одного ip.
Используемые прокси заносятся в локальную базу данных. За использованием прокси можно наблюдать в режиме онлайн.

h9cMSmt8v8.gif




Настройка из запуск

Настройка в новых шаблонах
  1. Скопировать содержимое папки dll (из архива) в папку ExternalAssemblies текущей версии Зеннопостера
  2. Подключить библиотеку System.Data.SQLite.dll в GAC
  3. Прописать в общем коде using
  4. Добавить код в общий код проекта
  5. Через сниппет "Создать базу " создаем базу для хранения прокси
  6. Пользуемся снипетами или кубиками из шаблона



Настройка тестового шаблона
  1. Скопировать содержимое папки dll (из архива) в папку ExternalAssemblies текущей версии Зеннопостера



Дополнительная информация
  • В шаблон используется локальная база данных SQLite. Библиотеку для работы с этой базой можно скачать на официальном сайте, но она есть в прикрепленном архиве.
  • Открыть базу данных можно при помощи программы SQLiteStudio, скачать с официального сайта.

Спасибо за внимание.
 
Номер конкурса шаблонов
  1. Пятый конкурс шаблонов
Уровень сложности
Продвинутый
Категория
  1. Другое

Вложения

Благодарю ,очень актуально - только закончил делать подобное но " на кубиках и списках" )))
Будет на чём поучиться переделать всё под свои нужды , по взрослому на шарпе и освоить SQLite )
 
  • Спасибо
Реакции: molotok
Подскажите, почему не стали использовать встроенный функционал для работы с SQLite ?
На сколько я знаю в стандартном наборе нет удобного доступа к SQLite без дополнительных настроек компьютера.

Да и прямая работа с System.Data.SQLite.dll намного удобнее в плане манипуляции данными внутри кода.
 
  • Спасибо
Реакции: Yuriy Zymlex и specialist
Есть такое для работы с файлом и кодом сишарп, без БД, кому надо, скину :)
 
поделись пожалуйста
Получите, распишитесь.

51960

Тут в лимит_прокси - это число, которое считает сколько раз одна прокся запустилась в потоке (грубо говоря сколько потоков одновременно могут юзать проксю)
 

Вложения

Интересная вещь, опробуемс)) По сути же и с мобилками такм ожно?
 
  • Спасибо
Реакции: molotok
Получите, распишитесь.

Посмотреть вложение 51960
Тут в лимит_прокси - это число, которое считает сколько раз одна прокся запустилась в потоке (грубо говоря сколько потоков одновременно могут юзать проксю)
Отличная вещь! А не подскажите как потом обнулять прокси?
Допустим у меня 5 прокси, работает 20 потоков, каждый прокси максимум на 4 потока и как после завершения проэкта сделать -1 на рабочем прокси?

Заранее спасибо!
 
  • Спасибо
Реакции: lbvf65
Отличная вещь! А не подскажите как потом обнулять прокси?
Допустим у меня 5 прокси, работает 20 потоков, каждый прокси максимум на 4 потока и как после завершения проэкта сделать -1 на рабочем прокси?

Заранее спасибо!
тоже интересна
 
Очень интересно, сейчас попробуем тонну потоков.
 
  • Спасибо
Реакции: lbvf65
Доброго времени суток!

Позвольте представить вашему вниманию шаблон-заготовку для управления количеством одновременно используемых прокси в шаблоне при работе на сайте.

Большое спасибо за шаблон! :dh: Давно положил в закладки и вот понадобился. Работает отлично, то что нужно! :bu:
 
  • Спасибо
Реакции: molotok
В сотовой теме делаем это уже год как. Легко идёт!
 
  • Спасибо
Реакции: molotok

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)