Загрузка огромного текстового файла

Question

У меня есть огромный текстовый файл с целыми числами. Мне нужно обрабатывать их по строкам и сохранять их в отдельных списках на основе некоторых вычислений по номерам в каждой строке.

Конечная цель - загрузить номера (кроме строки 1) в два списка - A = числа при нечетных позиции B = числа на четных позициях образца

файла:

1 3 4 5 
3 4 56 73 
3 4 5 6 

в настоящее время я делаю так:

with open(filename) as f: 
    for line in f: 
     line = line.split() 
     line_num = line_num + 1 
     if line_num == 1: 
      # do something 
      pass 
     if line_num > 1: 
      line = [int(i) for i in line] 
      for x in range(len(line)): 
       # do something 
       pass 

проблема заключается в том, что оно принимает много времени. Есть ли лучший способ сделать это быстро?

Answer 1

Вместо проверки, является ли линия первой линией каждый раз, обрабатывайте первую строку в начале. Нет необходимости проверять внутри цикла.

with open(filename) as f: 
    line = next(f) 
    # do something for the first line 

    # handle rest lines 
    for line in f: 
     line = line.split() 
     line = [int(i) for i in line] 
     for field in line: 
      # do something with field 
      pass 

я удалил line_num, потому что нет никакого смысла в Orignal коде. Но если вам это нужно, использовать enumerate:

with open(filename) as f: 
    line = next(f) 

    for line_num, line in enumerate(f, 2): 
     ... 

Answer 2

Звучит как эффективный один для NumPy:

X = numpy.loadtxt(filename) #can specify if you know for sure all are integers 
odds = X[1::2] 
evens = X[::2]