Как улучшить производительность выполнения программы чтения файлов

Question

В настоящее время я пытаюсь прочитать 150 миллионов строк (из файла данных с информацией о биопоследовательности) с использованием Python. В настоящее время он читает 20 000 строк в секунду, что займет около полутора часов. Я должен прочитать 20 из этих файлов. Учитывая, что Python является языком очень высокого уровня, было бы лучше использовать Java для чтения файлов или разницу во времени, не столь значительную, чтобы гарантировать переход на другой язык?

текущий код я использую:

lines_hashed = 0 
with open(CUR_FILE) as f: 
    for line in f: 
     cpg = line.split("\t") 
     cpg_dict[cpg[0]] = ....data.... 
     print lines_hashed 
     lined_hashed += 1 

Отпечаток заявление есть только как здравомыслие, что программа не заглохнуть где-нибудь. Я предполагаю, что это также замедляет время работы. Есть ли способ проверить это без инструкции печати?

Спасибо.

Answer 1

1. Печать на экране дорогая по сравнению с чтением диска. Если вы должны проверять производительность по мере продвижения, распечатывайте только 1000 строк и более.
2. Что касается использования других языков, то почти все языки призывают операционную систему выполнять настоящую работу.