У меня большой список ссылок (1гб), написал небольшой парсер гет запросами. Если в зенке добавляю проект в несколько потоков, то моментально забивается оперативка (6гб). Соответсвенно походу каждый поток грузит список ссылок, как этого избежать?
Как правильно парсить в многопотоке?
- Автор темы nvmds
- Дата начала
Через привязку к файлу подгружается. Потоков конечно чем больше, тем лучше. Но хватает на несколько только оперативы
Moadip
Client
- Регистрация
- 26.09.2015
- Сообщения
- 509
- Благодарностей
- 823
- Баллы
- 93
Если здесь не стоит галка, то каждый поток будет работать со своим экземпляром в памяти, что при гиговом файле сожрет оперативу моментально.
Плюс надо смотреть что конкретно вы делаете с этим списком, возможно что в каждом отдельном потоке идет работа с этим файлом и слишком много инфы хранится в оперативке.
Также что конкретно делается при вытаскивании инфы запросами, тут тоже может отжираться память.
Ну и еще одни вариант, браузер отключен в настройках?
