Как реализовать такую выдачу (многопоток)?

[planeta]

Всем привет, задача следующая:
Есть пополняемый массив данных (прокси), примерно 100000 значений в час. Необходимо организовать выдачу значений (проксей) на потоки на разных машинах. Как лучше это сделать?
Пока в голове крутсятся следующие варианты:
1. Записывать все в txt и выкладывать на ftp, но тогда непонятно как убирать взятые значения из файла, а также непонятно такая организация потянет ли такую нагрузку....
2. Писать данные в БД, но тогда непонятно как вообще выдачу на внешние ip организовать....

Жду вашей помощи! Заранее всем спасибо!

 

[doc]

Всем привет, задача следующая:
Есть пополняемый массив данных (прокси), примерно 100000 значений в час. Необходимо организовать выдачу значений (проксей) на потоки на разных машинах. Как лучше это сделать?
Пока в голове крутсятся следующие варианты:
1. Записывать все в txt и выкладывать на ftp, но тогда непонятно как убирать взятые значения из файла, а также непонятно такая организация потянет ли такую нагрузку....
2. Писать данные в БД, но тогда непонятно как вообще выдачу на внешние ip организовать....

Жду вашей помощи! Заранее всем спасибо!

бд и скрипты, например пхп, по обработке данных

 

[planeta]

бд и скрипты, например пхп, по обработке данных

есть какие то примеры как организовать выдачу с бд на внешние ресурсы?

 

[gevolushn]

есть какие то примеры как организовать выдачу с бд на внешние ресурсы?

Да, есть. Их целый интернет.
Если ищешь примеров реализации, то ищи и спрашивай не здесь.

 

[planeta]

Да, есть. Их целый интернет.
Если ищешь примеров реализации, то ищи и спрашивай не здесь.

классный ответ, мог бы ничего не писать, смысла столько же было бы

 

[gevolushn]

классный ответ, мог бы ничего не писать, смысла столько же было бы

Это форум о работе с ZennoPoster и другими его прилагающими. Если тебе нужна реализация выдачи данных на разные компьютеры в больших объемах и с большой скоростью, то еще раз повторюсь - ищи не здесь. На других специализированных форумах ты получишь больше информации.
Я ни в коем случае вас не "стебу" или что-то в этом роде. Просто советую вам не тратить время.

 

[planeta]

Это форум о работе с ZennoPoster и другими его прилагающими. Если тебе нужна реализация выдачи данных на разные компьютеры в больших объемах и с большой скоростью, то еще раз повторюсь - ищи не здесь. На других специализированных форумах ты получишь больше информации.

Вопрос как раз таки относится к работе зеннопостера, тк на его основе все делается, собираются данные, выдаются и забираются, везде используется именно он.
Ищу практиков, а не теоретиков, если по делу нечего сказать, прошу не флудить в теме.

 

[doc]

Примеры выдачи? Обычный хттп запрос на скрипт, который возьмёт с бд данные и отдаст этому запросу

 

[WebBot]

Однозначно БД
Или с настроенной возможностью удаленных подключений или же через PHP скрипт

 

[gevolushn]

Есть пополняемый массив данных (прокси), примерно 100000 значений в час. Необходимо организовать выдачу значений (проксей) на потоки на разных машинах. Как лучше это сделать?

1. Вы не упоминали, что прокси вам нужны для ZP.
2. Работа с БД. В разных ее проявлениях. Будь то стандартными методами ZP через блоки или запросами непосредственно к вашей БД.

 

[planeta]

Спасибо всем за то, что подключились к проблеме. Буду копать в сторону организации БД и выдачу через php гет запросами.
Если у кого-то была подобная проблема и появилось готовое решение, буду очень благодарен

 

[one]

Буду копать в сторону организации БД и выдачу через php гет запросами.

Можно и средствами зенки реализовать. В одном месте БД с доступом с наружи, далее обрабатывать полученные данные как угодно, обычная работат с БД.

Если у кого-то была подобная проблема

Это не проблема, это задача.

 

[Шива]

Как вариант просто в сервисе где выдают прокси поставить лимит на 1 прокси