- Регистрация
- 08.07.2014
- Сообщения
- 745
- Благодарностей
- 78
- Баллы
- 28
Всем привет! Пишу парсер по bing и столкнулся с проблемой, через 1-2 часа забивается вся оператива. Сейчас распишу логику своего шаблона, может посоветуете как увеличить скорость парсинга и меньше чтобы оперативы кушало.
Инстанс берет с папки пару тысяч путей до файлов, и рандомно к списку зенно привязывает 1 из файликов(txt) в них храняться ключи по 50к примерно в каждом.
Лочу список этот и беру от туда ключ с удалением. Потом прога отправляет 2 гет запроса на бинг и регулярками обрезает все что нужно(складываем это все в коллекцию). Потом создает txt файлик и туда ложит всю коллекцию по этому ключу.
Потом берет след. ключ и так по кругу. Было 100 кругов таких, потом и 50 ставил и 10 и 1 круг и все равно оператива забивается. Посоветуйте что можно сделать? И как улучшить шаблон? может от списков отказаться? и только с файлами работать? или как лучше?
Инстанс берет с папки пару тысяч путей до файлов, и рандомно к списку зенно привязывает 1 из файликов(txt) в них храняться ключи по 50к примерно в каждом.
Лочу список этот и беру от туда ключ с удалением. Потом прога отправляет 2 гет запроса на бинг и регулярками обрезает все что нужно(складываем это все в коллекцию). Потом создает txt файлик и туда ложит всю коллекцию по этому ключу.
Потом берет след. ключ и так по кругу. Было 100 кругов таких, потом и 50 ставил и 10 и 1 круг и все равно оператива забивается. Посоветуйте что можно сделать? И как улучшить шаблон? может от списков отказаться? и только с файлами работать? или как лучше?
