Привязка списка к файлу

[nomarketing]

Вообщем как то странно, не пойму пока в чем дело,
К примеру есть 4 потока.
Каждый берет строку, и эти строки удаляются из списка, из файла.
А вот потом начинается самое интересное, когда они делают круг, и им нужно взять еще по строке,строки берутся, но из листа не удаляются, из файла тоже.. как такое может быть ?

 

[nomarketing]

Хотя, в проэкт мейкере все работает как надо, может там где паузу надо ставить но где ?.. странно что если работае 1 раз но и 2 должно работать.. а оно не работает..

 

[nomarketing]

Вообщем тестировал тестировал.. понял что списки в какой то момент перестают привязыватся в итоге удаление из списка идет, а из файла нет.
Как решить это проблему пока не знаю.. может кто сталкивался, просто так не интересно если есть такою глюк, тогда к примеру начать заного с того же места просто нереально будет

 

[Sergodjan]

ни разу такого глюка не было..
работаю через списки в которых установлены все галки и прописан путь до файла..
все удаляется норм, в 1 и в несколько потоков..

 

[nomarketing]

ни разу такого глюка не было..
работаю через списки в которых установлены все галки и прописан путь до файла..
все удаляется норм, в 1 и в несколько потоков..

У меня путь указывается в экшене списка - привязать к файлу.
И еще вопрос, какой формат поддерживается (в поле экшена привязать к файлу) т.е что должно быть какие переменные и какое окончание файла ?
А то может оно то привязывается но формат не тот, хотя если привязка идет значит оно как то реагирует на это..
Пс. я не пишу путь к файлу прям в списке, я его пишу в экшене привязать к файлу.

 

[nomarketing]

Просто как то странно, у меня работает до определенного времени, потом как будто привязка перестает сущестовать, из списка удаляется а из файла нет.. почему пока не выяснил..

 

[Sergodjan]

в экшене можно прописывать переменные содержащие путь и имя файла..
если привязывать файл через сам список, то переменные нельзя использовать в качестве пути..
попробуй проверить в тестовом шаблоне, где файл пропишешь в списке, без использования экшена привязки..
посомтришь как оно работает в этом варианте..

 

[nomarketing]

у меня идет так [variable]\textfile.txt в экшене по привязке,
Но дело в том что если бы оно не привязывало, из файла бы ничего не удалялось вообще !
А так оно работает работает и потом бац... и все как будто привязка исчезла... ну щас пытаюсь что то сделать додумать что не так и что бы выявить уже где проблема то с потоками и списком или с логикой

 

[nomarketing]

Вообщем что то не то... походу привязка экшеном при многопотоке ну не знаю что то не то, как могу удалятся строки и потом перестают удалятся.. я даже пусть прописываю в привязке не через переменную а на прямую !

 

[nomarketing]

Вообщем у кого работают нормально списки через привязку в многопотоке отпишите - и версию тоже.

 

[nomarketing]

Проблема решена, видать та глака удалить после взятие как то не так работае при многопотоке, додумался.. создать экшн удалить 1 строку из списка.. работает как по маслу.
А вот удаление с взятием срабатывает только 1 раз.. ну загадка какае то

 

[nomarketing]

А нет ошибочка, не работает ! вообщем не знаю что делать

 

[budora]

У меня порой не успевало отрабатывать изменения в списке, когда работа происходит с привязанным списком. Делаю виртуальный список и работаю с ним. Потом просто сохраняю обратно.

 

[nomarketing]

У меня порой не успевало отрабатывать изменения в списке, когда работа происходит с привязанным списком. Делаю виртуальный список и работаю с ним. Потом просто сохраняю обратно.

Спасибо. Этот вариант более рабочий ! при многопотоке.

 

[rostonix]

Присылайте семпл простой как реализовываете логику из начального поста нам на почту, проверю.
Я никогда не сталкивался с проблемами записи в многопотоке.

 

[nomarketing]

Присылайте семпл простой как реализовываете логику из начального поста нам на почту, проверю.
Я никогда не сталкивался с проблемами записи в многопотоке.

Ну у меня сначала было такое, удалялась строка с неким торможением что ли, т.е в зенке уже этот этап удаление пройдет, а в файле через энное время секунд только обновляется файл мол удалилась строка.
Ну а когда на многопотоке, все вроде бы работало а потом в какое то время - перестает удалять строки, т.е привязка как бы исчезает куда то.. хотя алертов из тотал лист - выводит как надо.. ну..
Я пока еще что разбираюсь но тот вариант с удалением и сохранением работает на ура

 

[rostonix]

Ну у меня сначала было такое, удалялась строка с неким торможением что ли, т.е в зенке уже этот этап удаление пройдет, а в файле через энное время секунд только обновляется файл мол удалилась строка.

Это не торможение. Удаление строк происходит из копии файла, который хранится в оперативке. А файл синхронизируется со списком в оперативке не каждое действие а с периодичностью определенной.

В любом случае мой ответ тот же: если есть что потестить - присылайте пример воспроизвводящий проблему, поразбираюсь.

 

[nomarketing]

Псоле многочисленных тестов на с# + экшенов - проблема свелась к одной.
Создал тестовый проэкт.

Файл - строк - 3000
Логика: заходим на урл, ждем 4 сек, берем из привязянного списка строку с удалением (привязку делал разными способами)
Потоки : 3

Ну вообщем начинает все работать как надо, все удаляется и вертится.
Потом через время ближе к 2000 строке. Такое впечетление как забивается то ли память то ли еще что.. вообщем что то происходит, что прекращается запись в файл.

Тестировал на 5.3 5.4 5.5 версии.

Везде одно и тоже.

Может можно как то решить это

 

[rostonix]

А шаблон сколько по времени выполняется? и что он делает вообще?

 

[nomarketing]

Вот то что я написал и делает, просто заходит на урл сайта (без каких либо действи) после него идет экшн взять строку с удалением, потом идет пауза 4 мин.
Вот так он работает работает удаляет удаляет... и бац, удаление из привязанного файла прекращаются. Я просто уже не знаю что делать..

 

[nomarketing]

4 сек т.е идет пауза и потом по кругу, просто заходит на сайт для виду, берет строку с удалением 4 сек, и по новой, вот ставлю 7000 строк и доходит к примеру до 6500 и все, потом связь с файлом теряется.

 

[rostonix]

вы имеете ввиду 6500 * 4 сек?
время выполнения шаблона

 

[nomarketing]

Нет.
У меня есть файл в нем к примеру 7000 тыщ строк.
Я запускаю его с логикой описанной выше (создал специально для теста обычную логику, типа заходим на сайт, берем строку с удалением, ждем 4 сек, заходим на сайте, берем строк... ждем 4 сек)
В итоге отвязка от файла идет где то на 6500 строке.. ну бывает и раньше. Т.е все удалется как запланированно, потом чере энное время просто (такое впечетление) как будто зено разрывает связь с файлом через энное время.
Вам нужно время выполнение скрипта ? (Не больше получаса точно) а так вообще могу засекти в минутах.. именно отрезок времени от запуска, и до остановки привязки файла т.е когда строки перестают удалятся из файла.

Тем временем я копаю шарп, что бы как то пробовать обойти эту проблему сторонним путем, к примеру работать напрямую с файлом.. ну там не знаю .. конечно для меня это сложновато но я пробую просто что бы на месте не сидеть и ждать маны небесной пока ответят почему у меня такое происходит во всех версиях..) просто не знаю что уже думать какой выход искать из этой ситуации..

 

[nomarketing]

Но как мне кажется шарп мне тоже не поможет так как он работает внутри зенки.. т.е мои прежние рабочие способы так же переставали работать через энное время даже на шарпе, не знаю вообщем что делать.

 

[rostonix]

Мне пока понятно только одно: вы запутали. И себя и меня.
Выкладывайте готовый пример на котором воспроизводится ваша проблема.

 

[nomarketing]

Вот ссылка на проэкт с текстовым файлом.

http://wikisend.com/download/213866/test.rar

Запускать в зенке,
Макс потоков : 10
Кол в одном процессе : 2


Как я понял, на данный момен вся пробелма в списках, именно в них, при работе с ними, возникает где то какой то стык чего... что они либо что то быстро переполняют и оно идет в отказ, либо там какой то баг в многократном обращении к фалу либо проблема списка и памяти вообщем не знаю, нужно как то выяснить точно но как я не знаю пока что. Просто из за этой проблемы нельзя работать, это не просто там кое что мелкое, а именно проблема для меня.. ну вы поняли, надеюсь как то попробуем решить в чем же дело, у меня уже интерес вознить узнать почему не в одной версии не работает.. и что мешает работе или в работе.

 

[rostonix]

я правильно понимаю что вы посещаете гугл несколько тысяч раз во время одного выполнения без перезагрузки инстанса?

 

[nomarketing]

Какой тысяч раз, если к примеру в файле, есть 5000 строк
Я запускаю 3 потока, и ближе к 4000 тысечам, идет отвязка от файла а то и 4500...
Т.е получается файл был привязан и работал пока циклы не дошли до цифры 4500 в файле.
Что тут не понятного ?
Если несколько тысяч раз тогда бы проблем небыло.. а так 500 строк 3 потоками и потом бац отвязка от файла, инстанты дальше работают удаляют из листа, но не из файла, так как умирает отвзяка к файлу.

Еще раз кратко что бы точно уже

Текстовый файл : cтрок : 5000
Потоков : 3
Обрыв прявязки файла после : 500 (обработанных строк - взятых из списка с удалением из файл)

5000 - 500 = 4500 (осталось строк в файле)

Где сдесь тысячи ?

 

[rostonix]

Концепция та же. Ваш проект это по сути своей огромный цикл, который использует в каждой своей итерации работу браузера.
Память инстанса забивается, вы его не перезагружаете.
Советую поменять концепцию проекта и протестировать на нормальном примере.
Если вам так нужно чтобы он отрабатывал сотни страниц, перезагружайте инстанс периодически.

 

[nomarketing]

Хм. А какая концепция должна быть ? Хорошо я щас протестирую без браузера.