Снипет для парсинга данных из очень большого файла

  • Автор темы Автор темы Mitnik
  • Дата начала Дата начала

Mitnik

Client
Регистрация
22.12.2014
Сообщения
122
Реакции
6
Баллы
18
Здравствуйте!
Подскажите, пожалуйста, как спарсить данные из очень большого файла - 577МБ?
Стандартным способом через кубики не получается, выдает ошибку.

Считываю файл, присваиваю значение переменной.
Потом пытаюсь парсить из переменной регуляркой - <url>.*?</url>
В конструкторе регулярка работает, а в PM никак не хочет.

Может быть имеются методы обработки таких больших файлов?
Оперативки много - 16ГБ.

Помогите, плиз, разобраться.
 
Если надо единоразово сделать, попробуйте notepad++
 
Нужно делать это ежедневно на автомате.
 
  • Оценить
Реакции: Mikhail B.
а если разделить ваш файл на 10 - 15 файлов с одинаковым количеством строк, и потом вашей регуляркой работать с этими файлами, отработали с первым файлом, получили что хотели, удалили файл и так далее со всеми остальными
Вот тему нашел должно получится ------------> смотреть
 
Последнее редактирование:
C#:
Развернуть Свернуть Копировать
var sourceList = project.Lists["SourceList"]; // Исходный список
var outList = project.Lists["OutList"]; // Список с результатами
Regex reg = new Regex(@"<url>.*?</url>");
string str = string.Join("\r\n", sourceList);
lock (SyncObjects.ListSyncer)
{
    destList.AddRange(from Match match in reg.Matches(str) select match.Value);
}
1. Привяжите файлы к спискам
2. Запускать лучше в ZP, а не в PM.
 
  • Оценить
Реакции: samsonnn

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)