Распределённое выполнения шаблонов на нескольких серверах

[biryukovm]

Приветствую.
Было бы не плохо сделать возможность работать ZennoPoster на нескольких машинах.
Уточняю - (это не нарушает рамки лицензии Вашей программы)
На основной машине запущен сам ZennoPoster что и будет являться основой лицензии и т.д , а на локальных машинах стоят агенты ZennoPoster они получают задачу для обработки с главного компьютера что по сети и возвращают ответ головному ZennoPoster о обработке данных.

Подобное сделано в программах для рендера видео и картинок типа 3D max и т.д
Это порой бывает необходимо в крупных проектах когда ресурсов 1 машины не хватает, а вся работа выполняется только 1 машиной агенты лишь передают результаты обработки и не более чем.



-----------------------------------

Меня навело на эту мысль по той причине что я когда работал с некоторыми сайтами, то компьютер выполняет все быстро но вот сам сайт к которому я обращаюсь сильный тормоз и на фоне этого проект затягивается.

к примеру у меня был проект с 10 000 товаров я обрабатывал это проект целиком ну за 2 часа максимум
А другой сайт попался там 86 000 товаров так я его обрабатывал 2,5 дня по причине что если запустить слишком быстро сервер выдает ошибку страницы и я в ответ получаю пустоту, а не страницу.

 

[Crucifer]

Меня навело на эту мысль по той причине что я когда работал с некоторыми сайтами, то компьютер выполняет все быстро но вот сам сайт к которому я обращаюсь сильный тормоз и на фоне этого проект затягивается.

Ну так дело в самих сайтах которые вы парсите. Это часто встречается. Частично можно решить использованием хороших прокси. Чаще всего просто шаред хостинг быстрее не отдает страницы или движок сайта не справляется.

 

[biryukovm]

Ну так дело в самих сайтах которые вы парсите. Это часто встречается. Частично можно решить использованием хороших прокси. Чаще всего просто шаред хостинг быстрее не отдает страницы или движок сайта не справляется.

Суть не в этом. ко мне пришел заказ чтоб я собрал 500 мил анкет с одного сайта. так я не смог этот заказ принять

 

[Yuriy Zymlex]

я вот не пойму тебе суть моей идеи не нравится или что ???

Для начала, суть идеи стоит чётко определить.

Как я понял, вы хотите систему распределённого выполнения шаблона.

 

[biryukovm]

Для начала, суть идею стоит чётко определить.

Как я понял, вы хотите систему распределённого выполнения шаблона.

да хотел донести это

 

[Yuriy Zymlex]

да хотел донести это

Поправил заголовок.

 

[biryukovm]

Поправил заголовок.

Вам виднее

 

[andrey-ka]

Ставьте сервер БД и работайте шаблонами с БД. У меня именно так реализовано.

 

[Phoenix78]

не уловил смысла предложения. как разработчики должны распаралелить работу шаблона, если они не имеют доступа к содержимому шаблона и данным что крутятся в нем ? сравнение с программи для рендера видео абсолютно некоректное, так как шаблон это и есть та самая программа "рендер". Не разработчики зенки должны решать какие данные/действия разбиваются на параллельные потоки, а разработчик шаблона. Выше предложили правильное решение и была статья на эту тему как расширять сервера через базу данных. тем более разработчики сделали гугл таблицы, чем не инструмент для одновременной работы нескольких шабов над одной задачей ?

 

[biryukovm]

не уловил смысла предложения. как разработчики должны распаралелить работу шаблона, если они не имеют доступа к содержимому шаблона и данным что крутятся в нем ? сравнение с программи для рендера видео абсолютно некоректное, так как шаблон это и есть та самая программа "рендер". Не разработчики зенки должны решать какие данные/действия разбиваются на параллельные потоки, а разработчик шаблона. Выше предложили правильное решение и была статья на эту тему как расширять сервера через базу данных. тем более разработчики сделали гугл таблицы, чем не инструмент для одновременной работы нескольких шабов над одной задачей ?

А зачем им доступ к шаблону.
Суть задачи такая что на 1 машине запускается сам ZennoPoster (главный в этой шайки) - он и имеет логику шаблона который выполняет в потоках
Так вот суть в том чтобы один из потоков выполнялся ну других машинах, головной ZennoPoster передал логику выполнения в сторону агента (дополнительная машина) в ответ получит подтверждение о выполнении данной логики шаблона.

 

[Phoenix78]

А зачем им доступ к шаблону.
Суть задачи такая что на 1 машине запускается сам ZennoPoster (главный в этой шайки) - он и имеет логику шаблона который выполняет в потоках
Так вот суть в том чтобы один из потоков выполнялся ну других машинах, головной ZennoPoster передал логику выполнения в сторону агента (дополнительная машина) в ответ получит подтверждение о выполнении данной логики шаблона.

и в чем проблема самому запустить шаблон на другой машине ? просто скопировать и вставить.

 

[biryukovm]

и в чем проблема самому запустить шаблон на другой машине ? просто скопировать и вставить.

Лицензия которая позволяет запускать только на 1 машине.

А если я захочу на нескольких то получается я должен на каждую купить PRO версию.
Покупка дополнительного места для машины будет дешевле.

По логики если дать возможность ставить на несколько машин сам ZennoPoster то это ведет к тому что люди начнут покупать его на предприятие за место того чтоб покупать основные лицензии ну или роз давать другим.
А агент не позволяет пользоваться самими программами ZennoPoster, он лишь выполняет логику и тем самым это будет выгодно для тех кому нужны мощностя, а не обеспечить штат самой программой.

 

[Phoenix78]

Лицензия которая позволяет запускать только на 1 машине.

А если я захочу на нескольких то получается я должен на каждую купить PRO версию.
Покупка дополнительного места для машины будет дешевле.

По логики если дать возможность ставить на несколько машин сам ZennoPoster то это ведет к тому что люди начнут покупать его на предприятие за место того чтоб покупать основные лицензии ну или роз давать другим.
А агент не позволяет пользоваться самими программами ZennoPoster, он лишь выполняет логику и тем самым это будет выгодно для тех кому нужны мощностя, а не обеспечить штат самой программой.

что мешает поставить зеннобокс ? и крутить дополнительные потоки на нем ? он стоит 10$. думаете вам разрабы дешевле мощьности своих серверов продадут ?

 

[biryukovm]

что мешает поставить зеннобокс ? и крутить дополнительные потоки на нем ? он стоит 10$. думаете вам разрабы дешевле мощьности своих серверов продадут ?

Не вижу смысла, так как я принимаю заказы, а не делаю инструменты клиентам.
Да и к примеру у меня заказов в месяц по 20-30 шт, машин у меня 5 тоесть по логики я должен потратить дополнительно 100-150$ в месяц смысл мне тогда в этой прогамме легче уже на самом C# свой парсер сделать

А так я оплачу по предположим 50$ за каждый агент и они будут работать на все проекты, а не один

 

[Phoenix78]

Не вижу смысла, так как я принимаю заказы, а не делаю инструменты клиентам.
Да и к примеру у меня заказов в месяц по 20-30 шт, машин у меня 5 тоесть по логики я должен потратить дополнительно 100-150$ в месяц смысл мне тогда в этой прогамме легче уже на самом C# свой парсер сделать

А так я оплачу по предположим 50$ за каждый агент и они будут работать на все проекты, а не один

конечно надо писать на C# в визуал студио, если так легче. так и выгоднее по деньгам.