Аккаунты в многопотоке

Charodey · 23.01.2019

Проблема актуальна. Я чтобы включить 20 потоков сделал 20 разных шаблонов, берущих профили с 20 разных папок.
А если надо что-то изменить в шаблоне, то приходится изменять 20 раз

Sergodjan · 23.01.2019

Charodey сказал(а):
Проблема актуальна. Я чтобы включить 20 потоков сделал 20 разных шаблонов, берущих профили с 20 разных папок.
А если надо что-то изменить в шаблоне, то приходится изменять 20 раз

А зачем менять 20 раз?
Можно сделать изменения в одном шаблоне и скопировать его в 20 папок.

zortexx · 24.01.2019

Проблема в том, что отстутвуют официальные материалы Best Practices, и частенько юзерам приходится изобретать велосипед, вместо того чтобы прочитать как именно надо использовать программу.
Форум читают далеко не все :-)

Dimazzan · 25.01.2019

Берешь аккаунт из списка с удалением и кидаешь в конец списка. Не благодари.

default · 25.01.2019

Dimazzan сказал(а):
Берешь аккаунт из списка с удалением и кидаешь в конец списка. Не благодари.

но единственный минус этого, что список вроде как привязан к файлу. а при начале работы, строка удаляется и из файла. И не факт, что шаблон отработает так, как нужно. Иногда хочется, чтобы строка удалилась лишь по окончанию работы шаблона.

Работа со списком с удалением строки - это по сути самое примитивное использование файла в многопотоке. Но вот чтобы строка удалялась в самом конце - это уже сложнее.

inotoxic · 25.01.2019

default сказал(а):
Но вот чтобы строка удалялась в самом конце - это уже сложнее.

Берете строку с удалением в переменную
В случае ошибки в шаблоне - вешаете на Bad End действие - записать в конец списка

default · 25.01.2019

inotoxic сказал(а):
Берете строку с удалением в переменную
В случае ошибки в шаблоне - вешаете на Bad End действие - записать в конец списка

окей, сервер/комп вырубило электричеством прямо во время выполнения в середине шаблона. и ценные данные про**ались
как мне еще объяснить, что удалять в самом конце имеет смысл?
винда крашнулась там, я не знаю, что угодно в общем. происходит что-либо подобное - строка исчезает бесследно. зенку даже оффнуть принудительно допустим(не знаю правда, делаются ли бэдэнды в таком случае)

upd. конечно можно совсем бред делать, подобия брать строку и писать её сразу же в левый файл(на всякий) - но это же гемор лишний. когда опять же, идеально было бы удаление в конце работы шаблона. чем потом рыться по файлам и выискивать(тратить время). а если у меня таких серваков дома штук 40? и все 40 сразу разом упали? мне по всем 40 сервакам лазать искать эти строки из миллионного списка?

inotoxic · 25.01.2019

default сказал(а):
как мне еще объяснить, что удалять в самом конце имеет смысл?

В таком случае - имеет смысл работать с БД

Dimazzan · 25.01.2019

default сказал(а):
но единственный минус этого, что список вроде как привязан к файлу. а при начале работы, строка удаляется и из файла

Именно по этому мы закидываем сразу в конец списка

Mikhail B. · 25.01.2019

default сказал(а):
но единственный минус этого, что список вроде как привязан к файлу. а при начале работы, строка удаляется и из файла. И не факт, что шаблон отработает так, как нужно. Иногда хочется, чтобы строка удалилась лишь по окончанию работы шаблона.

Значит по Good End удаляй строку и все. В твоем случае железобетонный метод. Пока шаб не отработал, строка не удалится.

default · 25.01.2019

Dimazzan сказал(а):
Именно по этому мы закидываем сразу в конец списка

речь шла про многопоток. если я поставлю 300потоков(какие-нибудь запросы), а строк всего скажем 350-400. То с перемещением в конец списка, рано или поздно 1ый поток будет работать с "последней" строкой(которая по итогу станет уже не последней как понимаю из-за других потоков), которую возьмёт допустим 157ой поток, т.к. 1ый поток еще не закончит выполнять шаблон(т.к. время выполнения может зависеть от многих факторов, капчи и прочего). И в итоге с одной строкой уже начнут работать 2-3-4-5 потоков и тд, не? Или я не так всё представляю? Сложно я конечно наверное объясняю, куча скобок и тд.

Mikhail B. сказал(а):
Значит по Good End удаляй строку и все. В твоем случае железобетонный метод. Пока шаб не отработал, строка не удалится.

выше сказал вроде, я хз как это реализовывается в многопотоке(точнее будет ли нормально. в чем сомневаюсь конечно). просто во всех указанных способах на мой взгляд потоки начнут хватать одну и ту же строку рано или поздно. типо ну удалю я в конце шаблона(я смогу это сделать), а как сделать, чтобы второй-третий поток не взяли эту же строку во время выполнения шаблона первым потоком? Просто данный способ на мой взгляд только для одного потока подходит, ну либо с какими-то дополнениями.

Я вообще представляю идеальную работу многопотока так:
1)одна строка используется только одним потоком и не более(второй поток не может её попросту взять, подобие или есть "lock" - я не знаю сам.)
2)удаление строки в конце работы шаблона.
Я хз, подходит ли хоть одно из решений написанных выше под мои параметры(хотелки).

Mikhail B. · 25.01.2019

default сказал(а):
речь шла про многопоток. если я поставлю 300потоков(какие-нибудь запросы), а строк всего скажем 350-400. То с перемещением в конец списка, рано или поздно 1ый поток будет работать с "последней" строкой(которая по итогу станет уже не последней как понимаю из-за других потоков), которую возьмёт допустим 157ой поток, т.к. 1ый поток еще не закончит выполнять шаблон(т.к. время выполнения может зависеть от многих факторов, капчи и прочего). И в итоге с одной строкой уже начнут работать 2-3-4-5 потоков и тд, не? Или я не так всё представляю? Сложно я конечно наверное объясняю, куча скобок и тд.

Для этого создается второй список, в котором аккаунты в работе. После того как шаблон берет аккаунт, он чекает его наличие во втором списке. Вобщем блеклист для аккаунтов. Метод рабочий и в многопотоке будет работать без проблем, снипет дам если надо, я лично использую его для прокси. Да и на списках в 400 потоков работать, это не самая лучшая идея. На таких объемах надо переходить на БД.

inotoxic · 25.01.2019

Можно в рамках одного списка

Есть к примеру список на 5 строк
строки вида:

строка_1
строка_2
строка_3
строка_4
строка_5

В кубике создаем условие
взять строку НЕ содержащую текст "bussy" - с удалением

Получаем первую строку
из нее формируем строку вида
строка_1|bussy
добавляем в конец списка
и так для всех последующих строк

В итоге на 6 цикле - условие НЕ сработает - кубик выйдет по красной
Все строки обработаны и не потеряны
При многопотоке, каждый поток будет брать строки по условию

GoogleMo · 02.02.2019

Mikhail B. сказал(а):
Для этого создается второй список, в котором аккаунты в работе. После того как шаблон берет аккаунт, он чекает его наличие во втором списке. Вобщем блеклист для аккаунтов. Метод рабочий и в многопотоке будет работать без проблем, снипет дам если надо, я лично использую его для прокси. Да и на списках в 400 потоков работать, это не самая лучшая идея. На таких объемах надо переходить на БД.

Прошу сниппет, задался этим вопросом недавном у меня порядка 20-30акков в многопотоке работает и я понимаю, что с одним списком начнет "зажевывать".

Deniska · 08.03.2019

Dimazzan сказал(а):
Берешь аккаунт из списка с удалением и кидаешь в конец списка. Не благодари.

+ Список с временем для следующего запуска, работаю несколько лет проблем не вызывает
В случае падения сервера и прочего, делается шаблон который быстро восстановит список аккаунтов из резервной копии, запускается один раз с остановкой всех остальных

GoogleMo · 08.03.2019

Deniska сказал(а):
+ Список с временем для следующего запуска, работаю несколько лет проблем не вызывает
В случае падения сервера и прочего, делается шаблон который быстро восстановит список аккаунтов из резервной копии, запускается один раз с остановкой всех остальных

Можно поподробней про список со временем?

Charodey · 08.03.2019

Deniska сказал(а):
+ Список с временем для следующего запуска, работаю несколько лет проблем не вызывает
В случае падения сервера и прочего, делается шаблон который быстро восстановит список аккаунтов из резервной копии, запускается один раз с остановкой всех остальных

У меня один профиль работает около секунд 10, т.к через него нужно отправить несколько post запросов. Если сделать так, то один аккаунт может взяться несколько раз

Deniska · 08.03.2019

Сколько раз в сутки запускается отдельный аккаунт?

WebBot · 08.03.2019

Проблема совершенно надуманная.

1) берите строку не содержащую слово busy
2) генерите случайное число/строку (идентификатор взятой в работу строки) ... запоминаете его в перемнной.
3) сразу после того как взяли строку и сгенерили идентификатор, кладите взятую строку в конец списка с прибавлением к ней |busy-xxxxxxx (где xxxxxx это сгенерированный идентификатор)
4) когда поток сделал все что нужно удаляете из списка строку содержащую идентификатор
5) все описанное выше оберните в лок

Делов на 10 строк, а то и меньше ...

Mikhail B. · 08.03.2019

GoogleMo сказал(а):
Прошу сниппет

Не обратил внимание, что сниппет просили. Держите

C#:

string nameRegexp = project.Variables["NAME"].Value; // NAME - название зенно переменной
IZennoList Names = project.Lists["FEMALE"];
Regex re = new Regex(nameRegexp, RegexOptions.IgnoreCase);
return Names.Any(item => re.IsMatch(item));

Тут есть шаблон в котором код используется.

Deniska · 08.03.2019

Arturs2006 сказал(а):
Это Вы мне? Не понял вопроса... какой отдельный?

меня устраивает, правда нельзя запустить сразу 100 потоков одновременно, но с запуском через каждые 1+ минут справляется

WebBot · 08.03.2019

Arturs2006 сказал(а):
Тоже самое можно сказать и по теме топика. Приходится городить списки, и отмечать их в работе, вместо того, чтобы сделать как полагается (описано выше). Самое стрёмное, что костыли со списками не только неудобны, но и могут не срабатывать (тоже описал ситуацию выше, когда по непонятным причинам берётся в работу одна и та же строка разными потоками, хотя прописан чекер - он тупо не срабатывает)

Где и какие костыли вы тут увидели? Это обычная работа со списками и не более. А то что у вас разные потоки берут одну строку - это исключительно от вашей неправильной организации многопоточности в шаблоне и только. При правильной организации все работает как надо!

Mikhail B. · 08.03.2019

@Arturs2006 Вы по итогу ситуацию так и не решили?

one · 09.03.2019

WebBot сказал(а):
Делов на 10 строк, а то и меньше ...

А можно увидеть эти строки? Ну так, на будущее и для расширения кругозора.

WebBot · 09.03.2019

one сказал(а):
А можно увидеть эти строки? Ну так, на будущее и для расширения кругозора.

Предположим нужно брать строки из списка urls ... список создан, файл со строками указан, установлены галочки брать из файла, сохранять изменения списка в файл ... и в PM созданы 2 переменные - url и label (в первую попадет взятая потоком уникальная строка, во второй метка/идентификатор этой строки, по которуму после выполнения всех действий мы цдалим эту строку из списка)

Код:

lock(SyncObjects.ListSyncer){
    for(int i=0; i<project.Lists["urls"].Count; i++){
        if ( project.Lists["urls"][i].Contains("busy") == false ){ // если никакой другой поток с этой строкой не работает
            project.Variables["url"].Value = project.Lists["urls"][i]; // кладем строку в переменную
            project.Lists["urls"].RemoveAt(i); // удаляем эту строку из списка
            project.Variables["label"].Value = Macros.TextProcessing.RandomText(7,"d",""); // генерим метку/id взятой строки
            project.Lists["urls"].Add(project.Variables["url"].Value+"|busy-"+project.Variables["label"].Value); // возвращаем уже с прибавкой busy-label
            break; // прерываем цикл т.к строку взяли
        }
    }
}
if ( project.Variables["url"].Value == "" ){
    throw new Exception("URLы закончились"); // выход по красной ветке
}

После отработки данного кубика у вас будут заполнены переменные url и label ... или же кубик будет завершен по красному выходу (в случае если свободных строк нет)

Ну и не забывайте после выполнения всех действий удалить из списка urls строку содержащую текст переменной label

UPD: предвижу вопрос - зачем нужна метка/идентификатор строки, почему бы после выпонлнения всех действий просто не удалить по взятому url ? .... потому что в списке может быть несколько одинаковых строк (ну задачи же разные могут быть) и тогда удаляться все такие строки, а у с уникальной меткой только нужная (та с которой работал этот конкретный поток)

Аккаунты в многопотоке

Client

Client

Administrator

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Вложения

Client

Client

Client

Client

Client

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)