Спам в многопотоке

[blud]

Что то я запутался, может кто подскажет, как правильно написать проект для спама..
итак: есть файл с линками, которые нужно запостить, есть файл со списком ресурсов, куда нужно запостить и есть папка с готовыми профилями на каждый ресурс.
Все ресурсы на одной CMS, все поля и формы идентичны, поэтому есть проект постинга (написаный на гет-пост запросах) в который нужно только подставить профиль и ссылку для постига.
для однопоточного спама у меня проект(цикл), в котором берется строка из списка линков, и строка из списка ресурсов, все это передается в вложенный проект постинга.. работает норм, НО учитывая, что ресурсов в списке более 200, то сам постинг в однопотоке занимает около часа на один линк.
А если в списке линков 50.. более 2-х суток((

Нужно постить в многопотоке... но как???

пы.сы. постинг одного линка в 30 потоков занимает около 2-х минут

 

[Mikhail B.]

Очень быстрый и топорный вариант. Скопировать папки и запустить как отдельные проекты. Я не призываю к таким действиям, просто если реально горит и ответа пока нет, можно так попробовать. Но ресурсы будут затрачены не малые.

 

[blud]

Очень быстрый и топорный вариант. Скопировать папки и запустить как отдельные проекты. Я не призываю к таким действиям, просто если реально горит и ответа пока нет, можно так попробовать. Но ресурсы будут затрачены не малые.

нее неподойдет .. ибо этот проект должен работать в бААльшом комбайне из кучи других проектов ... комп вздернется ...

 

[Lite]

Если я правильно понял - можно ведь брать строку с удалением из файла. Каждый поток будет брать уникальную строку.

 

[blud]

Если я правильно понял - можно ведь брать строку с удалением из файла. Каждый поток будет брать уникальную строку.

не совсем правильно.. предположим, первый поток возьмет первую строку из списка links, второй вторую и т.д .. Но нужно, что бы все потоки запостили и первую строку.. и вторую .. и третью... и т.д.

 

[Mikhail B.]

blud В одном из уроков Ростоникса из 1 потока, была тема про много поток, там предлагался C# код, который проверяет не используется ли список в данный момент одним из потоков, и если это так, то он выжидает, пока он будет доступен.
Если честно, я сам присоединяюсь к вопросу. Интересно какие подводные камни стоит учесть при использовании многопотока. Я даже логически не понимаю как его делать, пока стандарта нету, как будет, более интенсивно займусь вопросом этим.
------------------

Если я правильно понял - можно ведь брать строку с удалением из файла. Каждый поток будет брать уникальную строку.

Если шаб одновременно возьмет эту строку с удалением, что будет тогда?

 

[blud]

есть мысль использовать запуск шаблона бат файлом .. и сразу несколько вопросов:
1. Есть ли в зенно возможность передать переменную из проекта в проект?
2. Можно ли в настройках бат файла указать количество потоков?

 

[blud]

Если шаб одновременно возьмет эту строку с удалением, что будет тогда?

если брать строку с удалением из списка, то одновременно одну и ту же строку потоки брать не будут .. список это типа контроллер при многопотоке

 

[Mikhail B.]

1. Есть ли в зенно возможность передать переменную из проекта в проект?

Для этого глобальные переменные существуют.
Можно запустить проект в проекте с передачей всех значений переменных.

 

[Lite]

не совсем правильно.. предположим, первый поток возьмет первую строку из списка links, второй вторую и т.д .. Но нужно, что бы все потоки запостили и первую строку.. и вторую .. и третью... и т.д.

Тогда из списка links строки не удалять, удалять только из списка ресурсов.
Т.е. поток берет профиль ресурса, список links и прогоняет его.

 

[blud]

Для этого глобальные переменные существуют.
Можно запустить проект в проекте с передачей всех значений переменных.

ВИКИ: глобальная переменная создается, когда ваш проект первый раз к ней обращается. А ее значение пропадает после перезагрузки ZennoPoster.

 

[blud]

Тогда из списка links строки не удалять, удалять только из списка ресурсов.
Т.е. поток берет профиль ресурса, список links и прогоняет его.

это все хорошо при однопоточном постинге, при выполнении цикла, а как это все реализовать при многопотоке?

 

[Lite]

это все хорошо при однопоточном постинге, при выполнении цикла, а как это все реализовать при многопотоке?

Имеем 2 списка - линков и ресурсов.
Поток берет строку из списка ресурсов, удаляет её из файла и циклом берет строки из списка линков.
Тогда количество потоков=количеству ресурсов. (но в пределах одного ресурса постинг идет в один поток)

 

[blud]

Имеем 2 списка - линков и ресурсов.
Поток берет строку из списка ресурсов, удаляет её из файла и циклом берет строки из списка линков.
Тогда количество потоков=количеству ресурсов. (но в пределах одного ресурса постинг идет в один поток)

а как брать строки из списка links?? если без удаления из списка, то постить будет один и тот же линк.. если с удалением, то соседний поток тоже будет брать из этого же списка....

 

[Lite]

а как брать строки из списка links?? если без удаления из списка, то постить будет один и тот же линк.. если с удалением, то соседний поток тоже будет брать из этого же списка....

Если ты не удаляешь из файла, то удаление строки из списка не действует на другие проекты.

p.s. еще вариант-
поток берет строку с ресурсом (с удалением из файла), проверяет наличие файла link-имяресурса.txt(например link-vk.com.txt), если нет - создает такой файл с содержимым из link.txt, если файл есть - берет оттуда строку (с удалением из файла).
Так можно постить многопоточно и в пределах одного ресурса.

 

[blud]

Если ты не удаляешь из файла, то удаление строки из списка не действует на другие проекты.

Какие другие проекты?? речь идет об одном проекте, но работающем в несколько(30-50) потоков

 

[Lite]

Какие другие проекты?? речь идет об одном проекте, но работающем в несколько(30-50) потоков

ну я имел ввиду потоки)

 

[blud]

ну я имел ввиду потоки)

вот если честно .. то не понял, как запускать цикличный шаблон в многопотоке... какие настройки в постере ставить?? я имею ввиду сколько раз выполнять?? ведь если это цикл, то он должен выполняться один раз... а если один раз.. то какая в3.14zду многопоточность....

 

[shved2]

А если сделать так:
шаблон берет одну строку из ресурсов с удалением.
далее перемещает(копирует) список линков в другой файл и постит линки из этого созданного файла с удалением.
по окончанию линков, новый файл с линками удаляется.
Таким образом имеем - для каждого потока свой файл с линками.

 

[blud]

А если сделать так:
шаблон берет одну строку из ресурсов с удалением.
далее перемещает(копирует) список линков в другой файл и постит линки из этого созданного файла с удалением.
по окончанию линков, новый файл с линками удаляется.
Таким образом имеем - для каждого потока свой файл с линками.

тогда нужно, что бы имя файла, куда копируем список линков, было индивидуальным для каждого потока ..

 

[shved2]

тогда нужно, что бы имя файла, куда копируем список линков, было индивидуальным для каждого потока ..

а в чем трудность? рандомом генеришь имя и все.

 

[blud]

а в чем трудность? рандомом генеришь имя и все.

вроди хорошая идея .. буду пробовать ... спасибо

 

[IgorSush]

Базы данных вам в помощь.
На файлах многопоток - это как вилкой огород перекапывать! Пластиковой.

 

[blud]

Базы данных вам в помощь.
На файлах многопоток - это как вилкой огород перекапывать! Пластиковой.

и каким образом мне к текстовому файлу бд прикрутить??

 

[shved2]

Базы данных вам в помощь.
На файлах многопоток - это как вилкой огород перекапывать! Пластиковой.

если в mysql разобраться - то да, проще.
Да и с файлами работать можно.

 

[IgorSush]

если в mysql разобраться - то да, проще.
Да и с файлами работать можно.

Никто не спорит, что можно. Можно и вилкой вскапывать
Разобраться не так сложно.

 

[IgorSush]

http://www.mysql.ru/faq/
Ваши старания по изучению сего окупятся стократ.

Без БД я многопоток вообще не стал бы рассматривать.

 

[shved2]

Никто не спорит, что можно. Можно и вилкой вскапывать
Разобраться не так сложно.

Ну проекты разные - мне, например, для вк, бд не нужно - и со списками норм спамится...
смотря какие проекты и какая реализация...
а так - да, бд, конечно проще.

 

[SilverSun]

а как брать строки из списка links?? если без удаления из списка, то постить будет один и тот же линк.. если с удалением, то соседний поток тоже будет брать из этого же списка....

Я бы создал один общий список из ресурсов, он будет одновременно контролирующим списком окончания проекта. К этому списку будут обращаться все потоки. А уже в самом проекте, линки, через экшен "положить в список", одноразово положить в виртуальный список и брать их от туда, пока они не закончатся и соответственно не обработается полностью один сайт.

 

[blud]

Я бы создал один общий список из ресурсов, он будет одновременно контролирующим списком окончания проекта. К этому списку будут обращаться все потоки. А уже в самом проекте, линки, через экшен "положить в список", одноразово положить в виртуальный список и брать их от туда, пока они не закончатся и соответственно не обработается полностью один сайт.

спасибо .. все работает норм
Только непонятен один момент: как я писал выше, этот шаблон должен работать в комбайне. То есть после 100% выполнения этого шаба должен запуститься следующий.. и мне неясно, как отловить этот момент. Думал, что при выходе(по красной ветке) из экшна "взять строку из списка ресурсов" поставить кубик с записью файла (маячка) и след шаб запускался бы при появлении этого файла, НО этот файл (маячок) будет записываться каждым из потоков... то есть след. шаблон запустится раньше, чем отработает этот ...