Python Разбиение текстового файла

Question

Я сделаю некоторый процесс в текстовом файле, который в настоящее время занимает много времени. Я наблюдал из монитора активности, что в настоящее время приложение использует только 1 поток, поэтому я решил разделить файл на multiprocessing.cpu_count() равные файлы и выполнить один и тот же процесс в них отдельно.

Мой код выглядит следующим образом:

with open(filename) as f: 
    "do the process" 

Я хочу изменить это в:

with open(filename) as f: 
    files = f.splitinto(cpu_count) 
    for file in files: 
     "start the threads to do the same process for each file" 

Answer 1

file.readlines() дает строки текстового файла в виде списка. Это означает, что если у вас есть текстовый файл со 100 строками, readlines() даст вам list длиной 100 - где каждый элемент является строкой из вашего файла. Исходя из этого, вы можете сделать:

with open('test.txt', 'r') as myfile: 
    lines = myfile.readlines() 
    lines_list[0] = lines[0:len(lines)/cpu_count) 
    # ... and so on.. 

После чего вы можете разделить строки и обрабатывать их, как вы хотите.