предпочтительный размер блока при чтении/записи больших двоичных файлов

Question

Мне нужно читать и писать огромные двоичные файлы. есть ли предпочтительное или даже оптимальное количество байтов (что я называю BLOCK_SIZE), я должен read() за раз?

1 байт, конечно, мало; и я не думаю, что чтение 4 ГБ в ОЗУ - хорошая идея - есть ли «лучший» размер блока? или это даже зависит от файловой системы (я на ext4)? что мне нужно учитывать?

python's open() также содержит аргумент buffering. мне тоже нужно было бы настроить его?

это пример кода, который просто соединяет два файла in-0.data и in-1.data в out.data (в реальной жизни есть более обработка, которая не имеет никакого отношения к рассматриваемому вопросу). BLOCK_SIZE выбирается равной io.DEFAULT_BUFFER_SIZE, который, как представляется, по умолчанию для buffering:

from pathlib import Path 
from functools import partial 

DATA_PATH = Path(__file__).parent/'../data/' 

out_path = DATA_PATH/'out.data' 
in_paths = (DATA_PATH/'in-0.data', DATA_PATH/'in-1.data') 

BLOCK_SIZE = 8192 

def process(data): 
    pass 

with out_path.open('wb') as out_file: 
    for in_path in in_paths: 
     with in_path.open('rb') as in_file: 
      for data in iter(partial(in_file.read, BLOCK_SIZE), b''): 
       process(data) 
       out_file.write(data) 
#   while True: 
#    data = in_file.read(BLOCK_SIZE) 
#    if not data: 
#     break 
#    process(data) 
#    out_file.write(data) 

Answer 1

Пусть OS принять решение для Вас. Используйте модуль MMAP:

https://docs.python.org/3.4/library/mmap.html

Он использует базовый механизм отображения памяти вашей операционной системы для отображения содержимого файла в оперативную память.

Помните, что при использовании 32-разрядного Python существует ограничение размера файла 2 ГБ, поэтому используйте 64-битную версию, если вы решите пройти этот маршрут.

Например:

f1 = open('input_file', 'r+b') 
m1 = mmap.mmap(f1.fileno(), 0) 
f2 = open('out_file', 'a+b') # out_file must be >0 bytes on windows 
m2 = mmap.mmap(f2.fileno(), 0) 
m2.resize(len(m1)) 
m2[:] = m1 # copy input_file to out_file 
m2.flush() # flush results 

Обратите внимание, что вы никогда не должны были вызвать любое чтение() функцию и решить, сколько байт, чтобы принести в оперативную память. Этот пример просто копирует один файл в другой, но, как вы сказали в своем примере, вы можете делать любую обработку, в которой вы нуждаетесь. Обратите внимание: если весь файл сопоставляется с адресным пространством в ОЗУ, это не означает, что он действительно был скопирован там. Он будет скопирован кусочно, по усмотрению ОС.