питон большой файл разборе

Question

У меня есть файл журнала 1GB (.txt) в следующем формате,

[ABC] [12.45] [bla bla bla] [12345] 
[DEF] [12.45] [bla bla bla] [12345] 

Я пытаюсь разобрать его в массивы для каждого из []. До сих пор я пробовал numpy.genfromtxt, а также читал строки за строкой, открывая файл. numpy дает некоторое MemoryError с 1GB-файлом. метод lin-by-line занимает около 35 секунд.

Есть ли какая-либо другая библиотека или способ закрепить разбор?

Reading построчно:

with open(filePath) as f: 
    for line in f: 
     splits = findall('\[(.*?)\]', line) 
     A.append(splits[0].strip()) 
     B.append(datetime.datetime.strptime(splits[2], '%H:%M:%S.%f')) 
     C.append(splits[4]) 

Answer 1

Вы можете ускорить значительно разборе с помощью str.split вместо re.findall.

with open('input.txt') as f: 
    for line in f: 
     splits = line.split('] [') 
     A.append(splits[0][1:]) 
     B.append(splits[1]) 
     C.append(splits[2]) 
     D.append(splits[3][:-1])