Как сделать лог-анализ более быстрым для больших текстовых файлов

Question

У меня есть большие (500 000 строк) файлы журнала, которые я просматриваю для определенных разделов. Когда найденные разделы будут напечатаны в виде текстового виджета. Даже если я вырезал строки для чтения до последних 50 000 строк, это занимает больше минуты или дольше, чтобы закончить.

with open(i, "r") as f: 
    r = f.readlines() 
    r = r[-50000:] 
    start = 0 
    for line in r: 
     if 'Start section' in line: 
      if start == 1: 
       cpfotxt.insert('end', line + "\n", 'hidden') 
      start = 1 
     if 'End section' in line: 
      start = 0 
      cpfotxt.insert('end', line + "\n") 
     if start == 1: 
      cpfotxt.insert('end', line + "\n") 
f.close() 

Любой способ сделать это быстрее?

Answer 1

Вы должны попытаться прочитать его в кусках.

with open(...) as f: 
    for line in f: 
     <do something with line> 

Более четкий подход, который может быть применен для вас:

def readInChunks(fileObj, chunkSize=2048): 
    """ 
    Lazy function to read a file piece by piece. 
    Default chunk size: 2kB. 
    """ 
    while True: 
     data = fileObj.read(chunkSize) 
     if not data: 
      break 
     yield data 

f = open('bigFile') 
for chuck in readInChunks(f): 
    do_something(chunk) 

Answer 2

Другая возможность заключается в том, чтобы использовать искать пропустить много строк. Однако для этого требуется, чтобы у вас было около идея о том, насколько велики последние 50K строк. Вместо того, чтобы прочитывать все ранние строки, прыгайте ближе к концу:

with ... as f: 
    f.seek(-50000 * 80) 
    # insert your processing here