Многопоточный проект "теряет" данные из списка

[morpheus93]

Я запускаю проект в несколько потоков, используя в качестве первого шага список с прокси ("Список - привязка к файлу").

В "Good End" и "Bad End" я устанавливаю возврат взятой строки прокси в список и, следовательно, в связанный .txt файл.

Но через некоторое время во входном файле, который связан со списком, становится все меньше и меньше прокси. Поэтому они как-то теряются во время выполнения проекта, например, в 10 потоках.

Посоветуйте, как исправить эту "потерю данных"?

Спасибо.

 

[Phoenix78]

никогда такого не было и снова здравствуйте
в общем смотри, мое мнение такое, что работа со списками через кубик крайне сомнительное занятие, а уж помещать возврат строки в конец шаблона, это вообще зашквар. не будем говорить что произойдет с данными если вдруг зенка вылетет, если даже в обычном режиме данные пропадают... и поверь, не только у тебя.
конечно в скором времени появятся админы/разработчики и будут утверждать что со списками все хорошо... но верить им наверно не стоит... им же надо продавать программу, а нам на ней работать.
поэтому, бросай нафиг эти списки и переходи на любую базу данных, локальную или сетевую, главное на SQL запросах с подтверждением транзакций. и забудешь про пропажу данных как про страшный сон

 

[White trash]

Да, в конец шаблона желательно добавлять паузу секунд на десять.

 

[Besedi]

Феникс вам все правильно написал, только использовав SQL решите свои задачи. Вот, советую ознакомится с пессимистическими и оптимистическими блокировками: https://stackoverflow.com/a/129397

 

[morpheus93]

Спасибо вам, ребята, за вашу ценную помощь! Обычно я использую MySQL для всех данных в проектах. Но так как в этом проекте мне нужна только пара прокси, я решил попробовать этот список.

 

[Besedi]

Спасибо вам, ребята, за вашу ценную помощь! Обычно я использую MySQL для всех данных в проектах. Но так как в этом проекте мне нужна только пара прокси, я решил попробовать этот список.

в 10 потоках пару прокси?) У меня в среднем работают 1-4 потока на проект и на каждом все через реляционную базу данных. То ли это перфекционизм, то ли не знаю, меня прям "каребит" если я думаю что мог что-то упустить. Либо же если ценность итерации высокая и ты можешь поиметь убыток или недозаработать, то лучше перестраховаться по 3 раза.

 

[kagorec]

Спасибо вам, ребята, за вашу ценную помощь! Обычно я использую MySQL для всех данных в проектах. Но так как в этом проекте мне нужна только пара прокси, я решил попробовать этот список.

В конкурсе есть подробные статьи как работать с SQLite

 

[morpheus93]

Да, SQLite тоже кажется удобным решением. Спасибо за подсказку.

 

[morpheus93]

в 10 потоках пару прокси?) У меня в среднем работают 1-4 потока на проект и на каждом все через реляционную базу данных. То ли это перфекционизм, то ли не знаю, меня прям "каребит" если я думаю что мог что-то упустить. Либо же если ценность итерации высокая и ты можешь поиметь убыток или недозаработать, то лучше перестраховаться по 3 раза.

Это бот, который параллельно отвечает на входящие сообщения с разных аккаунтов. Я использую метод "Multi-VPN" из одной из статей здесь с 10 vpn соединениями на localhost. Так что мне просто нужно 127.0.0.2, 127.0.0.3 и так далее в качестве прокси, и если поток завершен, следующий аккаунт должен использовать новый доступный vpn адаптер с новым соединением сервера. Вот почему он использует только "10 прокси", но работает в "многопоточном режиме"

 

[morpheus93]

Может быть, синхронизация также может быть достигнута с помощью глобальных переменных? То есть 1 глобальная переменная (типа массива) и каждый поток берет один прокси при старте и отдает его по завершении... Но, возможно, тогда это будет та же проблема, что и со списками, когда ZP падает?

 

[Besedi]

Может быть, синхронизация также может быть достигнута с помощью глобальных переменных? То есть 1 глобальная переменная (типа массива) и каждый поток берет один прокси при старте и отдает его по завершении... Но, возможно, тогда это будет та же проблема, что и со списками, когда ZP падает?

А разве такое возможно? Разве каждый инстанс не байткод с уникальным хэшем и своим неймспейс? Я хочу сказать, что инстансы не могут иметь общую переменную для общего использования. Хотя мои знания С# Оставляют желать лучшего, могу ошибаться..

 

[Phoenix78]

А разве такое возможно? Разве каждый инстанс не байткод с уникальным хэшем и своим неймспейс? Я хочу сказать, что инстансы не могут иметь общую переменную для общего использования. Хотя мои знания С# Оставляют желать лучшего, могу ошибаться..

а при чем тут C# ? речь про стандартный функционал зенки вообще-то...

 

[discus]

Может быть, синхронизация также может быть достигнута с помощью глобальных переменных? То есть 1 глобальная переменная (типа массива) и каждый поток берет один прокси при старте и отдает его по завершении... Но, возможно, тогда это будет та же проблема, что и со списками, когда ZP падает?

Прикладываю пример реализации многопотока с глобальной переменной, есть запись ГП в текстовый файл "work" из которого ГП подхватывается после падения ZP. Правильнее будет не удалять строки, а читать строки с прокси из файла по номеру ГП. Но ZP может упасть не успев сохранить список с ГП в текстовый файл "work", т.к. списки сохраняются в течении несколько секунд. Но с MySQL конечно еще лучше.

 

[morpheus93]

Большое спасибо, что поделились своим решением. Я также сделал некоторый подход с глобальными переменными. Давайте сравним

 

[lx2003]

Прикладываю пример реализации многопотока с глобальной переменной, есть запись ГП в текстовый файл "work" из которого ГП подхватывается после падения ZP. Правильнее будет не удалять строки, а читать строки с прокси из файла по номеру ГП. Но ZP может упасть не успев сохранить список с ГП в текстовый файл "work", т.к. списки сохраняются в течении несколько секунд. Но с MySQL конечно еще лучше.

Тема обсуждалась давно, но спрошу. Может использовать вместо глобальной переменной сохранение позиции строки списка в файл? Или, может, после сбоя искать ту запись, которая использовалась и начинать с нее или следующей?