Как избавится от дублей при работе со списком.

Phoenix78 · 17.08.2021

не использовать списки зенки, именно их привязку к файлу . читать файлы напрямую через c# в список в памяти и выгружать так же. только лок надо обязательно использовать.

Phoenix78 · 17.08.2021

AndreyAAA сказал(а):
Можно подробнее, я c# не знаком.

Что такое лок?

C# и .NET | Чтение и запись текстовых файлов. StreamReader и StreamWriter

Чтение и запись текстовых файлов в языке программирования C# и .NET, классы StreamReader и StreamWriter, их основные методы и свойства, примеры использования

metanit.com

https://zennolab.com/discussion/threads/sdelal-zagotovku-pod-mnogopotochnye-shablony-est-gljuki.88478/

Roman48 · 18.08.2021

Можно попробовать, привязка к файлу, потом берет строку и в конец+пауза в конце и все это в локе

https://zennolab.com/discussion/threads/osobennosti-ispolzovanija-standartnyx-lockov-dlja-mnogopotoka.44524/

C#:

lock(Locker.Домены)
{
// Привязать список к файлу

IZennoList list = project.Lists["Список"];
list.Bind(@project.Variables["domen"].Value);
//Данный код берет прокси из списка proxyes.txt с ротацией. (берет первую строку и возвращает в конец)

string proxy_full = String.Empty;


    proxy_full = project.Lists["Список"].GetItem("0", true);
  project.Lists["Список"].Add(proxy_full);
}

project.Variables["dom"].Value = proxy_full;
// Установленная пауза
System.Threading.Thread.Sleep(10 * 1000);
}

White trash · 18.08.2021

или просто убирать дубли встроенной функцией для работы со списками.

Roman48 · 18.08.2021

White trash сказал(а):
или просто убирать дубли встроенной функцией для работы со списками.

Не получиться, скорее всего их там и так нет, при старте, а в процессе работы, они там появляются, а если ставить через каждый кубик удалить дубли, возможно будет ошибка, коллекция была изменена, перечисление и т.д

doc · 18.08.2021

AndreyAAA сказал(а):
Посоветуйте что сделать что бы не было дублей в файле тхт.
Работаю со списками, беру первую строку с удалением и записываю в конец.
Но при многопотоке (80 потоков) Получаются дубли постоянно, и даже вижу что работа идет в том же самом аке. Ну и соответсвенно в тхт списках тоже дубли.
Посоветуйте что делать, работат с БД не вариант.Нужно толко списки.

если работаешь экшенами и появляются дубли - значит где-то логика неправильная. Где-то ты дополнительно делаешь запись

orka13 · 18.08.2021

Последнее время зенка в подобной схеме обычным кубиком не должна делать подобных глюков с дублями даже на многопотоке большом. Она тогда просто медленнее файл будет обрабатывать, но дублей не наделает, там же тоже есть свой внутренний лок на обычных кубиках. Но он срабатывает ТОЛЬКО в пределах одного шаблона одного зенопстера. То есть если в схеме ТС:
1) доступ к списку имеют 2 разных шаблона
2) или тот же шаблон но из зенопстера и из проджектмейера
3) или тот же шаблон но добавлен в зенопостер 2 раза (в последнем варианте я не уверен на 100%, на практике не проверял)
- тогда да, могут быть дубли. Выход возможно в C# нестандартных локах с топика что выше предлагали. Вопрос к ТС: в схеме есть что-то из тех трех вариантов?

doc · 18.08.2021

orka13 сказал(а):
1) доступ к списку имеют 2 разных шаблона
2) или тот же шаблон но из зенопстера и из проджектмейера
3) или тот же шаблон но добавлен в зенопостер 2 раза (в последнем варианте я не уверен на 100%, на практике не проверял)

2й вариант мб, а 1й и 3й не должны косячить

orka13 · 18.08.2021

doc сказал(а):
2й вариант мб, а 1й и 3й не должны косячить

1й косячит, проверено и на обычных списках кубиками, и C# с локом обычным, без разницы:
косячит каждый день в связке: 1 шаблон браузерный в 70 потоков делает манипуляции и непрерывно в среднем 1 строку в секунду берт прокси из списка на 30К с удалением. Второй безбраузерный каждый час берет свежие актуальные прокси с панели провайдера, очищает список и добавляет новые. В итоге несколько раз в сутки второй шаб не делает ничего из списком так как первый с ними "не делится". Если же первый шаб работает не в 70 потоков а в 10 (то есть реже обращается к списку), то проблемы не наблюдаю.

doc · 18.08.2021

orka13 сказал(а):
и C# с локом обычным

о каком локе речь?

orka13 · 18.08.2021

doc сказал(а):
о каком локе речь?

C#:

lock(SyncObjects.ListSyncer){}

doc · 18.08.2021

orka13 сказал(а):
C#:

lock(SyncObjects.ListSyncer){}

мне кажется этот лок вшитв кубики работы со списками и проблем быть не должно

backoff · 18.08.2021

держи готовый варик, 100% работает, использую под прокси, но можно под что угодно

C#:

//берем из списка прокси с удалением и записываем ее в конец списка
var ProxyList = project.Lists["proxy"];
lock(SyncObjects.ListSyncer)
{
var proxy = ProxyList[0];
ProxyList.RemoveAt(0);
ProxyList.Add(proxy);
project.Variables["proxy"].Value = proxy.ToString();
}

можно поменять название списка - project.Lists["proxy"];
то что берется из списка proxy ( регистр важен )
и кладет взятую строчку в переменную - project.Variables["proxy"].Value

на здоровье :-)

ps \ список привязываем к txt файлу, конечно же

Yuriy Zymlex · 19.08.2021

Phoenix78 сказал(а):
не использовать списки зенки, именно их привязку к файлу

Проблема не в списках, а скорее в отсутствии возможности lock'а группы экшенов.
Необходимо смотреть, что конкретно у ТС.

Phoenix78 · 19.08.2021

Zymlex сказал(а):
Проблема не в списках, а скорее в отсутствии возможности lock'а группы экшенов.
Необходимо смотреть, что конкретно у ТС.

не уверен.... у меня вот вчера у клиента был случай, 1 шаблон в многопотоке 150 потоков. в нем есть только один список привязанный к файлу. это лог. для отладки оставил. то есть 150 потоков 1-го шаблон пишут в один файл. просто лог.
ну клиент пишет, не работает шаблон, не запускается. смотрю в логе ошибка доступа к этому файлу. захожу в папку , а там рядом с этим файлом такой же только .tmp . удалил оба файла и все заработало.
Поэтому в механизме работы со списками есть проблемы, и дубли создаются, и строки теряются и выгребается список в ноль хотя запись в список стоит прям рядом с удалением строки. Все это уже было озвучено не раз на форуме.
В ответ всегда одно и тоже "Проблема не в списках".... ну вот мне как то пофиг на эти проблемы, так как проще отказаться от багованного функционала. Хорошо хоть в зенке c# нормально работает, можно замену придумать.

orka13 · 19.08.2021

Phoenix78 сказал(а):
...ну клиент пишет, не работает шаблон, не запускается. смотрю в логе ошибка доступа к этому файлу. захожу в папку , а там рядом с этим файлом такой же только .tmp . удалил оба файла и все заработало....

Это вроде как из-за "Настройки - выполнение - Безопасно сохранять файлы", но эту опцию обычно все отключают.

Phoenix78 · 19.08.2021

orka13 сказал(а):
Это вроде как из-за "Настройки - выполнение - Безопасно сохранять файлы", но эту опцию обычно все отключают.

в моем понимании, безопасно, это когда не возникает коллизий, выстраивается очередь для многопотока, все данные сохраняются 100%, но кажется это что то другое имеется ввиду :bk:

и насколько я имел опыт работы, эта галочка опять же не понятно на что влияет, и какой эффект дает. описание ее работы... ну очень поверхностное, типа додумывайте сами...
работал я и без галочки и с галочкой, результат один -> списки только головную боль приносят и непредсказуемый результат в многопоточной работе.

не, я не то что говорю что они не работают... списки работают, но для простых проектов. в сложных проектах чот как то больше проблем от них чем пользы. :bk:

doc · 20.08.2021

Phoenix78 сказал(а):
и насколько я имел опыт работы, эта галочка опять же не понятно на что влияет, и какой эффект дает.

эта галочка при обновлении файла сначала создаёт временный файл как буфер, а потом редактирует основной. В теории это должно позволить не словить файл полный null при критическом сбое программы или компьютера или отключении питания и т.д.

backoff · 25.08.2021

AndreyAAA сказал(а):
Есть ли возможность как то реализовать это в зенке? Что бы без повторений при многопотоке

да, очень просто, каждой прокси надо присвоить статус, например

socks5://blablabla_proxy:status

где status будет work и free например, когда прокси берешь, перезаписываешь ее со статусом work, когда поток закончен перезаписываешь со статусом free
ну и проверяешь статус все время, шаб берет проксю, смотрит что статус == work, значит прокся занята и берем следующую и тд

изи

doc · 25.08.2021

AndreyAAA сказал(а):
У меня тут встречный вопрос появился, по поводу прокси правда).
Решил использовать моб прокси со сменой ip по урлу.
Теоритечески хотелось бы работать с 10 прокси в 10 потоков. Ну на практике это не реально ни как, так как шаблон может работать долго, а может быстро закончить и т.д. Т.е. если брать по очереди то будут повторятся 100 % прокси в потоках. Есть ли возможность как то реализовать это в зенке? Что бы без повторений при многопотоке.

ну так возвращай прокси в список только при завершении работы потока

Phoenix78 · 25.08.2021

doc сказал(а):
ну так возвращай прокси в список только при завершении работы потока

и делай это стандартными средствами зенки :bk:

только надо не забывать пополнять файл с проксями, когда они от туда все пропадут :ca:

backoff · 25.08.2021

AndreyAAA сказал(а):
НУ в обоих случаях нужно делать BAD END как я понимаю

верно, тут надо немного логику продумать с новыми вводными

Как избавится от дублей при работе со списком.

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Moderator

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)