Улучшение скорости скрипта python

Question

У меня есть входной файл со списком строк.

Я повторяю каждую четвертую строку, начиная со строки два.

С каждой из этих строк я делаю новую строку из первого и последнего 6 символов и помещаю ее в выходной файл, только если эта новая строка уникальна.

Код, который я написал для этого, но я работаю с очень большими файлами секвенсирования и работает в течение дня и не добился большого прогресса. Поэтому я ищу любые предложения, чтобы сделать это намного быстрее, если это возможно. Благодарю.

def method(): 
    target = open(output_file, 'w') 

    with open(input_file, 'r') as f: 
     lineCharsList = [] 

     for line in f: 
      #Make string from first and last 6 characters of a line 
      lineChars = line[0:6]+line[145:151] 

      if not (lineChars in lineCharsList): 
       lineCharsList.append(lineChars) 

       target.write(lineChars + '\n') #If string is unique, write to output file 

      for skip in range(3): #Used to step through four lines at a time 
       try: 
        check = line #Check for additional lines in file 
        next(f) 
       except StopIteration: 
        break 
    target.close() 

Answer 1

Попробуйте определения lineCharsList как set вместо списка:

lineCharsList = set() 
... 
lineCharsList.add(lineChars) 

Это будет улучшить производительность оператора in. Кроме того, если память не является проблемой вообще, вам может понадобиться скопировать весь вывод в список и записать все в конце, вместо выполнения нескольких операций write().

Answer 2

Вы можете использовать https://docs.python.org/2/library/itertools.html#itertools.islice:

import itertools 

def method(): 
    with open(input_file, 'r') as inf, open(output_file, 'w') as ouf: 
     seen = set() 
     for line in itertools.islice(inf, None, None, 4): 
      s = line[:6]+line[-6:] 
      if s not in seen: 
       seen.add(s) 
       ouf.write("{}\n".format(s)) 

Answer 3

Помимо использования set, как предложил Оскар, вы можете также использовать islice пропустить линии, а не использовать для цикла.

Как указано в this post, islice препроцессор итератора в C, поэтому он должен быть намного быстрее, чем использовать простой ванильный питон для цикла.

Answer 4

Попробуйте заменить

lineChars = line[0:6]+line[145:151]

с

lineChars = ''.join([line[0:6], line[145:151]])

, как это может быть более эффективным, в зависимости от обстоятельств.