Как настроить потоки

[Dmitriy777]

1. Есть список с id веб страниц - id.txt
2. Есть пример запроса - www.site/id
3. Заходим по очереди по списку и копируем одну строку, ложим в файл new.txt и переходим к следующему id.
4. id - 2 миллиона

Зенка про версия. Но когда я ставлю например 10 потоков...она все равно в один поток работает, я так понимаю, что из-за того что файл new.txt занят первым потоком, второй не может этот файл открыть?

Вообщем, ребята, подскажите! Вопрос: Как правильно ускорить процесс?

 

[ssXXXss]

может просто в зенке надо выставить потоки

 

[APXOHT]

если вас смущает то что много потоков не могут корректно обрабатывать изменения в файле делайте сохранение в темповый список а его уже разово пишите в файл

Ну типа добавили 10к строк в список - сработала запись в файл. и так по кругу...

 

[Ribas]

не удержусь и процитирую одно из правил форума, которое запрещает
Создание тем с заголовком, несоответствующим теме или не несущем никакой информации, особенно темы в 1 слово: помогите, проблема, беда и т.д.

 

[VladZen]

Максимальное кол-во потоков в настройках программы и в настройках проекта. Где стоит единица. нужно поставить 10

 

[Dmitriy777]

Максимальное кол-во потоков в настройках программы и в настройках проекта. Где стоит единица. нужно поставить 10

Посмотреть вложение 10713
Посмотреть вложение 10714

Там у меня 8 стоит, все равно в 1 поток работает, мало того, если запустить в зенопостере, он делает около 5-10 id и стает, в прожект мейкере все отлично работает и сутки....

 

[ssXXXss]

Там у меня 8 стоит, все равно в 1 поток работает, мало того, если запустить в зенопостере, он делает около 5-10 id и стает, в прожект мейкере все отлично работает и сутки....

там это где ??? потоки чуть не в трёх местах надо выставлять, ты бы скрины показал

 

[VladZen]

Там у меня 8 стоит, все равно в 1 поток работает, мало того, если запустить в зенопостере, он делает около 5-10 id и стает, в прожект мейкере все отлично работает и сутки....

В обоих местах, что я указал стоит 8 ?

 

[Dmitriy777]

если вас смущает то что много потоков не могут корректно обрабатывать изменения в файле делайте сохранение в темповый список а его уже разово пишите в файл

Ну типа добавили 10к строк в список - сработала запись в файл. и так по кругу...

Что вы имеете ввиду?
1. Темповый список - это обычный список в прожект мейкере?
2. Сделать подсчет кол-ва строк в этом списке и условие, если кол-во = 10к, то в запись?
3. Или вы что-то другое имели ввиду?

 

[Dmitriy777]

В обоих местах, что я указал стоит 8 ?

В одном 80 в настройках....в проэкте 8

 

[ssXXXss]

а сколько делать стоит ??? во сколько запущено ??? стоять может и милион, если запустил в один поток то и будет один поток работать

 

[VladZen]

Проект случайно не через Диспетчер заданий запускается?

 

[Dmitriy777]

Вот так стоит....

 

[VladZen]

Вот так стоит....

Так потому что Сколько делать стоит 1. Один поток - это одно выполнение. Если хочется все 8 потоков запустить, то нужно Сколько делать - 8 или больше

 

[Dmitriy777]

Так потому что Сколько делать стоит 1. Один поток - это одно выполнение. Если хочется все 8 потоков запустить, то нужно Сколько делать - 8 или больше

Спасибо! Это я понял=)...но почему зеннопостер останавливается, хотя в списке есть id?, прожектмейкером проверял...работает отлично...
И Еще хотел спросить, ну я ставлю например 100 потоков, и 100раз выполнять, а сохранение у меня в одну таблицу, и список ид в одном текстовом файле, они не будут потоки файл занимать ?...ну имею ввиду, если в один момент два потока в один файл обратятся, а он занят ?

 

[VladZen]

Спасибо! Это я понял=)...но почему зеннопостер останавливается, хотя в списке есть id?, прожектмейкером проверял...работает отлично...
И Еще хотел спросить, ну я ставлю например 100 потоков, и 100раз выполнять, а сохранение у меня в одну таблицу, и список ид в одном текстовом файле, они не будут потоки файл занимать ?...ну имею ввиду, если в один момент два потока в один файл обратятся, а он занят ?

Останавливается как, с ошибкой какой-то? В самом проекте какова логика - там все строки прогоняются или часть? какой-то цикл я так понимаю для этого сделан.
Потоки будут обращаться к разным строкам одного файла, это оптимизировано.

 

[Dmitriy777]

Без ошибки, просто типа завершен....Логика в проекте что считается кол-во строк в файле, потом сравнение >0, и либо проект либо завершен и в цыкле так..

 

[Dmitriy777]

Останавливается как, с ошибкой какой-то? В самом проекте какова логика - там все строки прогоняются или часть? какой-то цикл я так понимаю для этого сделан.
Потоки будут обращаться к разным строкам одного файла, это оптимизировано.

Извините, еще вопрос, чтобы уже полностью понять...
Если я файл проекта поставил в зеннопостере работать, а потом этот файл редактирую прожектмейкером, зеннопостер копирует файл проекта в память, или в режиме онлайн с него берет логику?....тоесть если я сохранил заново, а проэкт активный по какой логике?

 

[VladZen]

Без ошибки, просто типа завершен....Логика в проекте что считается кол-во строк в файле, потом сравнение >0, и либо проект либо завершен и в цыкле так..

Думаю, надо цикл переработать. Сравнение не нужно. Когда строки в файле закончатся, нужно выходить по неудачной ветке экшна взятии строки.

 

[VladZen]

Извините, еще вопрос, чтобы уже полностью понять...
Если я файл проекта поставил в зеннопостере работать, а потом этот файл редактирую прожектмейкером, зеннопостер копирует файл проекта в память, или в режиме онлайн с него берет логику?....тоесть если я сохранил заново, а проэкт активный по какой логике?

Так не нужно делать. Работайте с проектом только в одной программе, иначе будут ошибки из-за использования в разных процессах. Как раз ошибки доступа к одному файлу списка например, возможно поэтому в ZennoPoster и останавливается выполнение.

 

[Dmitriy777]

Так не нужно делать. Работайте с проектом только в одной программе, иначе будут ошибки из-за использования в разных процессах. Как раз ошибки доступа к одному файлу списка например, возможно поэтому в ZennoPoster и останавливается выполнение.

Все вроде заработало, но возник другой ньюанс....потоки поставил 100, делать 100....а в файле-таблице куда ложит данные, скорость такая же примерно +100 в минуту, точно при сохранении в файл потоки друг другу не мешают?

 

[Dmitriy777]

имею ввиду, что сохраняется в файл не все данные с 100 потоков

 

[VladZen]

Все вроде заработало, но возник другой ньюанс....потоки поставил 100, делать 100....а в файле-таблице куда ложит данные, скорость такая же примерно +100 в минуту, точно при сохранении в файл потоки друг другу не мешают?

Не очень понял в чем проблема... скорость записи данных в таблицу одинаковая? +100 в минуту что при выполнении в один поток, что при выполнении в 100 потоков?

 

[VladZen]

имею ввиду, что сохраняется в файл не все данные с 100 потоков

Все 100 потоков поднялись? Если стоит 100 максимум, это не означает, что поднимутся все 100 потоков. Все-таки это также зависит и от мощности машины и от действий в шаблоне.

 

[VladZen]

Рекомендую прочитать вот эту статью - http://zennolab.com/wiki/ru:project-optimization

 

[Dmitriy777]

Не очень понял в чем проблема... скорость записи данных в таблицу одинаковая? +100 в минуту что при выполнении в один поток, что при выполнении в 100 потоков?

Да, вы правильно поняли...

 

[VladZen]

Да, вы правильно поняли...

Уточните сколько потоков поднимается и как происходит запись в таблицу (каким экшном, как часто, внутри цикла или после окончания).

 

[Dmitriy777]

Уточните сколько потоков поднимается и как происходит запись в таблицу (каким экшном, как часто, внутри цикла или после окончания).

Все 100 поднимаются...записывается двумя действиями сразу после взятия значения:
1. Добавить строку в таблицу1 ({-Variable.fio-}{-String.Tab-}{-Variable.oblast-})
2. Сохранить в файл таблица1....путь в хls файл

 

[VladZen]

Все 100
2. Сохранить в файл таблица1....путь в хls файл

Сохраняете экшном. А таблица как привязана к файлу? через свойства? Лучше попробуйте в свойствах таблицы поставить галку Сохранять изменения в файл.

 

[Dmitriy777]

Уточните сколько потоков поднимается и как происходит запись в таблицу (каким экшном, как часто, внутри цикла или после окончания).