Подскажите по использованию txt в многопотоке

CJeyZ

Client
Регистрация
12.04.2019
Сообщения
30
Благодарностей
2
Баллы
8
Впервые сталкиваюсь с многопоточностью, задача такова, есть тхт файл со списком 100к url строк, нужно в многопотоке каждый взять с последующем удалением из списка и изменением в самом тхт. Вопрос, можно ли каждый поток сделать в цикле, чтобы на каждый урл не нужно было заново открывать поток и грузить браузер? Если да, то на каждый цикл с постоянной перепривязкой файла тхт и по окончанию цикла удалением строк? Как это по умному можно сделать?
 

Phoenix78

Client
Read only
Регистрация
06.11.2018
Сообщения
11 790
Благодарностей
5 720
Баллы
113
браузер в зенке не предназначен для постоянной работы. его надо перезагружать. либо специально в шаблоне, либо выходить должен шаблон. иначе чревато утечкой памяти и завешиванием потоков.
зачем усложнять ? один запуск один цикл работы. ну или хотя бы более менее адекватное количество обработанных url. перепривязку можно не делать. схема простая. брать строку с удалением в кубике. кубик автоматом будет локировать файл.
 

Mikhail B.

Client
Регистрация
23.12.2014
Сообщения
14 418
Благодарностей
5 454
Баллы
113
Вопрос, можно ли каждый поток сделать в цикле, чтобы на каждый урл не нужно было заново открывать поток и грузить браузер?
Можно.

Если да, то на каждый цикл с постоянной перепривязкой файла тхт и по окончанию цикла удалением строк?
Можно залочить чтение из списка. Ничего придумывать не надо. Вышн верно подметили про перезагрузку инстанса. Каждые 15 ссылок ее делайте и все будет нормально.
 
  • Спасибо
Реакции: CJeyZ

CJeyZ

Client
Регистрация
12.04.2019
Сообщения
30
Благодарностей
2
Баллы
8
браузер в зенке не предназначен для постоянной работы. его надо перезагружать. либо специально в шаблоне, либо выходить должен шаблон. иначе чревато утечкой памяти и завешиванием потоков.
зачем усложнять ? один запуск один цикл работы. ну или хотя бы более менее адекватное количество обработанных url. перепривязку можно не делать. схема простая. брать строку с удалением в кубике. кубик автоматом будет локировать файл.
То есть если в потоке А будет взят урл из списка с удалением, то и в списке потока Б это изменение отразится автоматом?
 

Phoenix78

Client
Read only
Регистрация
06.11.2018
Сообщения
11 790
Благодарностей
5 720
Баллы
113
  • Спасибо
Реакции: CJeyZ

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)