Многопоточность при работе с таблицей

[one]

Сижу, ломаю голову. Вроде бы когда то задавался подобным вопросом, но уже не вспомню решения. Шаблон работает с таблицей. Берет строку с данными, обрабатывает их и кладет обратно в конец таблиц. Пред стартом, полаю кол-во строк и по счетчику контролирую когда останавливаться. После цикла, отнимается значение в кол-ве строк и доходя да 0 заканчиваем работу.

Подскажите логику для много потока. Ничего толкового пока в голову не приходит.

 

[radv]

Подскажите логику для много потока.

использовать лок таблицы
Особенности использования стандартных lock'ов для многопотока

 

[one]

использовать лок таблицы
Особенности использования стандартных lock'ов для многопотока

Не о локах пока речь. Нужно что бы сколько потоков не выставил, обработка таблицы корректно заканчивалась а не шла по кругу.

 

[radv]

Не о локах пока речь. Нужно что бы сколько потоков не выставил, обработка таблицы корректно заканчивалась а не шла по кругу.

так используй глобальный счетчик, который общий для всех потоков. Ну или метку какую нибудь по началу/завершению обработки таблицы. Про глобальные переменные тоже уже было в стаьях на форуме.

 

[one]

так используй глобальный счетчик, который общий для всех потоков. Ну или метку какую нибудь по началу/завершению обработки таблицы. Про глобальные переменные тоже уже было в стаьях на форуме.

Глобальная переменная при запуске потока как мне помниться обнуляется.

 

[radv]

Глобальная переменная при запуске потока как мне помниться обнуляется.

Ты сам можешь задавать изменение значения.

 

[one]

Ты сам можешь задавать изменение значения.

Каким образом? Приведи приме плс.

 

[BAZAg]

На сколько я понял - есть шаблон.
На вход подается два значения x, y, одно из которых говорит сколько именно строк должен обработать один поток, второе значение говорит сколько строк должны обработать все потоки вместе до остановки.
Далее шаблон стартует например в 100 потоков.
И крутится в цикле по первому значению (увеличил счётчик первого числа, уменьшил счётчик второго числа, если первое число больше указанного - завершили работу потока, если второе значение == 0 завершили работу потока, иначе взял строку, обработал, вернул обратно).
Так вот, второе значение - это явно глобальная переменная, которая должна быть видна для каждого потока, при первой инициализации ей нужно присвоить значение с входящих настроек, и потом уменьшать на 1.

Но, нужно как-то предусмотреть вариант когда мы решили ещё раз выполнить шаблон на обработку всей таблицы в многопотоке (нужно сбросить значение глобальной снова на указанное значение).

Работу с таблицей (взять, добавить ) нужно вести в локе, работу с глобалкой (создать, установить, получить) - также в локе.

 

[radv]

Каким образом. Приведи приме плс.

На вскидку не помню, попробуй через поиск в темах примеры посмотреть.

 

[backoff]

Подскажите логику для много потока. Ничего толкового пока в голову не приходит.

Самый на мой взгляд простой и рабочий способ, который я юзаю до сих пор, и он не подводил еще, без локов и смс )))
Добавь еще один столбец "status" и проверяй на него
То есть взял строку, и сразу ее перезаписал со статусом "work", закончил, перезаписал на "done" good, ok и тд
Статусы увеличивают разнообразие действий со строкой.
ну а в конце, контрольная проверка всей таблицы на определенный статус, если такой строки нет, то значит выключаем шаблон

ps \ хотя нет, перезапись лучше делать в локе )))

 

[Mikhail B.]

Самый на мой взгляд простой и рабочий способ, который я юзаю до сих пор, и он не подводил еще, без локов и смс )))
Добавь еще один столбец "status" и проверяй на него
То есть взял строку, и сразу ее перезаписал со статусом "work", закончил, перезаписал на "done" good, ok и тд
Статусы увеличивают разнообразие действий со строкой.
ну а в конце, контрольная проверка всей таблицы на определенный статус, если такой строки нет, то значит выключаем шаблон

ps \ хотя нет, перезапись лучше делать в локе )))

Согласен статусы решают. Но конечно все это надо на C# делать в локе. Как только взяли нужную строку, сразу статус меняем. И уже делаем что нужно. Так что можно поиском по таблице пользоваться. Заморочился сделал один раз, и работает отлично.

 

[one]

На вход подается два значения x, y, одно из которых говорит сколько именно строк должен обработать один поток, второе значение говорит сколько строк должны обработать все потоки вместе до остановки.
Далее шаблон стартует например в 100 потоков.

Немного не так. В таблице Х строк их количество не постоянно. Периодически меняется. Шаблон будет работать в Y потоков. Тут тоже будет думаю значение меняться если надо будет быстро обработать таблицу. Надо что бы Y потоков отработал X строк однократно и остановился. т.е. Y должен уменьшать Х и при нулевом значении останавливалась работа шаблона не запуская новых потоков тем самым не вывод на повторную обработку строк.

Каждый новый поток обнуляет глобальную переменную и мы уйдем на начало.

 

[one]

Да, это уже что надо.

ну а в конце, контрольная проверка всей таблицы на определенный статус, если такой строки нет, то значит выключаем шаблон

Вот как определить что уже конец и обнулить статусы для последующего запуска шаблона по расписанию?

 

[one]

Согласен статусы решают. Но конечно все это надо на C# делать в локе. Как только взяли нужную строку, сразу статус меняем. И уже делаем что нужно. Так что можно поиском по таблице пользоваться. Заморочился сделал один раз, и работает отлично.

Так... А ведь пишут что обычный экшен для работы с таблицами лочит ее при работе с ней. Разьве нет?

 

[backoff]

Вот как определить что уже конец и обнулить статусы для последующего запуска шаблона по расписанию?

так у тебя в процессе работы статусы должны меняться.
то есть ты взял строку, дал статув - в работе, когда закончил с ней работать, дал статус - выполнено
и в конце каждого выполнения проверяешь, если есть еще таблицы в статусе "work", то ничего не делаем - работаем дальше, а если таких нет, то запускаем батник, который принудительно останавливает шаблон, если он стоит на "-1" потоках, ЛИБО, я так тоже делаю, просто добавляю +10 выполнений, чтоб наверняка

Разьве нет?

нет

 

[one]

так у тебя в процессе работы статусы должны меняться.
то есть ты взял строку, дал статув - в работе, когда закончил с ней работать, дал статус - выполнено
и в конце каждого выполнения проверяешь, если есть еще таблицы в статусе "work", то ничего не делаем - работаем дальше, а если таких нет, то запускаем батник, который принудительно останавливает шаблон, если он стоит на "-1" потоках, ЛИБО, я так тоже делаю, просто добавляю +10 выполнений, чтоб наверняка


нет

Не поделишься снипетом для примера?

 

[Alexmd]

Еще такой вариант на выбор:
Брать из таблицы с удалением, обрабатывать и записывать в новый файл. Все в локе, разумеется. Последним потоком переименовываем новый файл в старый.

 

[Roman48]

Зачем такие сложности, и такая нагрузка, при много потоке когда записываешь в таблицу и берешь из таблицы, будет нагрузка, таблица и список, в списке тоже самое что и в таблице, из списка взял строку с удалением, потом берешь из таблицы строку содержащею текст (без удаления) проходишь весь список в конце он пустой.

 

[backoff]

Не поделишься снипетом для примера?

не совсем понял какой снип именно нужен?
а так конечно без проблем

 

[bizzon]

Зачем такие сложности, и такая нагрузка, при много потоке когда записываешь в таблицу и берешь из таблицы, будет нагрузка, таблица и список, в списке тоже самое что и в таблице, из списка взял строку с удалением, потом берешь из таблицы строку содержащею текст (без удаления) проходишь весь список в конце он пустой.

а подробнее можно?

 

[Roman48]

а подробнее можно?

Какие тут подробности, сделай таблицу с 10 - строками, бери с удалением и сразу записывай в конец, и включи потоков 20, ты в шоке будешь от нагрузки.
Делаешь таблицу, и список, со списка берешь строку с удалением, а с таблицы без удаления, содержащие текст или по регулярке.

 

[bizzon]

Какие тут подробности, сделай таблицу с 10 - строками, бери с удалением и сразу записывай в конец, и включи потоков 20, ты в шоке будешь от нагрузки.
Делаешь таблицу, и список, со списка берешь строку с удалением, а с таблицы без удаления, содержащие текст или по регулярке.

Ну прости туплю. Как таблица связана со списком. Т.е. из таблицы строку в список - из списка строка в работу - отработанная в конец списка и опять в таблицу? Можно пример? В шаблоне. Чувствую, что нужный момент и если сейчас не разберусь, уйдет мимо. Кто-то понял?

 

[Roman48]

Ну прости туплю. Как таблица связана со списком. Т.е. из таблицы строку в список - из списка строка в работу - отработанная в конец списка и опять в таблицу? Можно пример? В шаблоне. Чувствую, что нужный момент и если сейчас не разберусь, уйдет мимо. Кто-то понял?

Пример что я имел ввиду

 

[one]

Вообщем опишу свое решение которое в итоге родилось. Спасибо @doc за помощь со снипетом и @sergodjan66 за примеры с шаблонами! Пока обкатываю, тестирую, склеиваю все в одно целое.

Добавляем в таблицу колонку STATUS.

Туда пишем:
0 - свободно
1 - занято

По умолчанию (для новых строк) 0.

Сама процедура:

(Описываю работу на примере одного потока)

Что бы не уйти в вечный цикл данное решение реализовано двумя шаблонами с использованием локов и планируется запускать их в Диспетчере заданий поочередно.

1й шаблон.

• Берем с удалением первую строку со статусом 0.
• Выполняем нужное с полученными данными.
• Записываем результат обратно в конец таблицы со статусом 1.
• При отсутствии строк со статусом 0 останавливаемся по Good.

2й шаблон.

• Сбрасываем статус у всех строк в таблице на 0.

 

[Phoenix78]

можно не удалять строки. просто в эту строку в поле STATUS ставить 1 и после заполнения данных ставить 0.

 

[one]

можно не удалять строки. просто в эту строку в поле STATUS ставить 1 и после заполнения данных ставить 0.

Да, можно и так, но тогда процедура записи обработанных данных усложняется поиском нужной строки. Надо найти и записать а в моем варианте только записать.

 

[bizzon]

При отсутствии строк со статусом 0 останавливаемся по Good.

А как делается по Good? Нужно точно знать количество успешных?

 

[one]

А как делается по Good? Нужно точно знать количество успешных?

Ну как. Нету строк со статусом 0 значит обработали все строки.

 

[backoff]

Спасибо @doc за помощь со снипетом и @sergodjan66 за примеры с шаблонами!

Добавляем в таблицу колонку STATUS.

Добавь еще один столбец "status" и проверяй на него

 

[one]

@backoff бля, дружище, про тебя забыл. Сорян! С меня пивас при встречи! Тебе тоже спасибо большое! Да всем кого пропустил. Уставший за эти дни немного.