Работа с текстовыми файлам больше 1гб

ChuckNorris

Client
Регистрация
10.01.2018
Сообщения
43
Благодарностей
7
Баллы
8
Сделал простой парсер доменов, с мелкими файлами работает быстро, а вот с большими файлами не справляется.
Подскажите как лучше работать с source листами которые содержат более 100 млн строк и размер таких файлов 1-2гб.
Стоит смотреть в сторону sqllite?
 

orka13

Client
Регистрация
07.05.2015
Сообщения
2 177
Благодарностей
2 184
Баллы
113
делить на мелкие файлы по 5-10 мбайт, иначе зенка тупит при обработке. Либо если только считывать надо, то sqllite решает проблему.
 

ChuckNorris

Client
Регистрация
10.01.2018
Сообщения
43
Благодарностей
7
Баллы
8
Нужно только получать строки, никаких дальнейших действий с файлами не производится.
Спасибо за ответ, буду читать насчет sqllite.
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)