Split .dat большой файл

Question

Я получил файл с форматом .dat. Файл имеет 2 ГБ и около 4 миллионов строк. Я попытался открыть с помощью Excel/Notepad/Notepad ++, но ни один из них не смог открыть файл, это всегда ошибка, связанная с памятью (у меня 16 ГБ оперативной памяти). Я также попытался разделить файл с некоторыми приложениями, но ничего.

Что еще я могу сделать?

Большое спасибо!

Answer 1

Я не думаю, что Excel сможет справиться с этим большим количеством данных одновременно, я боюсь. Возможно, вы можете получить доступ к программному обеспечению базы данных, например MS Access: они могут работать с действительно большими наборами данных. Альтернативой является редактор для SQLite. Оба они довольно сложны, чем Excel.

Answer 2

Вы можете разбить файл на строки, используя язык программирования Python 3 (скачать внизу страницы). Пример сценария:

# Your input file name 
filename = r"C:\path\to\input.dat" 
# Your new chunk files will be here. You must keep 
# the {:04}, because it will be replaced by a number. 
chunknametemplate = r"C:\path\to\input-{:04}.dat" 

# Number of bytes for each chunk, set this to something large 
# like 10*1000*1000 (for 10 MB). 
minchunksize = 10*1000*1000 

f = open(filename, 'rb') 

buf = b'' 
chunknum=1 

def writechunk(): 
    global buf, chunknum 
    open(chunknametemplate.format(chunknum), 'wb').write(buf) 
    buf = b'' 
    chunknum += 1 


while True: 
    line = f.readline() 
    if line == b'': 
     break 

    buf += line 
    if len(buf) > minchunksize: 
     writechunk() 

# Write the last chunk 
writechunk()