Работа с большими файлами

[diman]

Всем привет. У меня возникли проблемы при работе с большими файлами,
может быть кто-то уже сталкивался и нашел решение
Сама задача очень простая:
нужно брать строки из 1 файла и искать строки содержащие этот текст во 2 файле
Проблема только в том, что эти файлы по 50 млн строк
Пробовал разбивать на мелкие файлы, но толку нету, т.к не известно в каком из файлов окажется нужная строка,
а перебирать кучу файлов тоже не вариант, по времени все очень долго.
Пробовал использовать таблицы в базе данных postgresql - тоже не вариант, тоже очень долго, 1 запрос - 5-10 сек.
и на несколько таблиц разбивал - не помогает.
Сейчас просто беру 1-2 млн строк из большого файла и работаю уже с ними и так далее, но хочется это все автоматизировать

 

[Yuriy Zymlex]

Пробовал использовать таблицы в базе данных postgresql - тоже не вариант, тоже очень долго, 1 запрос - 5-10 сек.

Предположу, либо вы не настроили postgresql под железо и/или не настроили индексы, либо плохо с самим железом.
Лучше обратиться в профильный чат/форум по postgresql.

Более "простые альтернативы" - грузить файл в оперативку и уже там с ним работать (если получится).