Привет всем. Есть шаблон, который должен во много потоков работать со списком 50 млн строк (список привязан к файлу с сохранением на диск). Так как список очень большой и занимает много ОЗУ при работе в 500 - 1000 потоков, пришлось ограничить список 1 млн строк и добавлять в него данные вручную по мере надобности. Хочу автоматизировать этот процесс, но не могу понять как лучше
1. Хотел разбить большой txt файл на мелкие файлы по 1 млн с индексом base_1.txt, base_2.txt итд, и если кол-во строк в base_1.txt string_count == 0, то шаблон привязывает список к следующему файлу base_2.txt и так далее.
2. Написать отдельный шаб который проверяет количество строк в списке и добавляет по мере надобности. Но это уж совсем костыль.
Может есть какое-то более простое решение?
1. Хотел разбить большой txt файл на мелкие файлы по 1 млн с индексом base_1.txt, base_2.txt итд, и если кол-во строк в base_1.txt string_count == 0, то шаблон привязывает список к следующему файлу base_2.txt и так далее.
2. Написать отдельный шаб который проверяет количество строк в списке и добавляет по мере надобности. Но это уж совсем костыль.
Может есть какое-то более простое решение?
