Нужен совет

[russya]

Всем привет! Пишу парсер по bing и столкнулся с проблемой, через 1-2 часа забивается вся оператива. Сейчас распишу логику своего шаблона, может посоветуете как увеличить скорость парсинга и меньше чтобы оперативы кушало.

Инстанс берет с папки пару тысяч путей до файлов, и рандомно к списку зенно привязывает 1 из файликов(txt) в них храняться ключи по 50к примерно в каждом.

Лочу список этот и беру от туда ключ с удалением. Потом прога отправляет 2 гет запроса на бинг и регулярками обрезает все что нужно(складываем это все в коллекцию). Потом создает txt файлик и туда ложит всю коллекцию по этому ключу.
Потом берет след. ключ и так по кругу. Было 100 кругов таких, потом и 50 ставил и 10 и 1 круг и все равно оператива забивается. Посоветуйте что можно сделать? И как улучшить шаблон? может от списков отказаться? и только с файлами работать? или как лучше?

 

[zarufakis]

Может у тебя стоит для каждого выполнения выделенный процесс и инстансы просто не закрываются, оставаясь висеть в памяти?

 

[russya]

Может у тебя стоит для каждого выполнения выделенный процесс и инстансы просто не закрываются, оставаясь висеть в памяти?

Стоит галка без браузера

 

[zarufakis]

Стоит галка без браузера

Может проблема в винде и она накапливает потоки, не закрывая их?
Попробуй на чистой винде, в идеале на другой машине.

 

[russya]

С оперативкой вроде проблему решил, сделал чтобы не рандомный файл брался, а первый. Получается все потоки сейчас берут ключи с первого файла. Но суть в том, что когда запускаю больше 50 потоков, то скорость парсинга не увеличивается, а уменьшается. Может подскажите как можно оптимизировать шаблон для большей скорости парсинга?

 

[Alexmd]

не могу утверждать на 100%, но могу предположить, что надо с файлов переходить на бд. похожие вопросы уже поднимались на форуме