Python MemoryError при попытке загрузить текстовый файл 5 ГБ

Question

Я хочу читать данные, хранящиеся в текстовом формате, в файле размером 5 ГБ. когда я пытаюсь прочитать содержимое файла, используя этот код:

file = open('../data/entries_en.txt', 'r') 
data = file.readlines() 

произошла ошибка: данных = file.readlines() MemoryError Мой ноутбук имеет 8 Гб памяти и по крайней мере 4 Гб пуст, когда я хочу запустить программу. но когда я контролирую производительность системы, когда python использует около 1,5 ГБ памяти, эта ошибка возникает.
Я использую python 2.7, но если это имеет значение, скажите мне решение для 2.x и 3.x Что мне делать, чтобы прочитать этот файл?

Answer 1

Лучший способ для вас, чтобы обрабатывать большие файлы будет -

with open('../file.txt', 'r') as f: 
    for line in f: 
     # do stuff 

readlines() будет ошибка, потому что вы пытаетесь загрузить слишком большой файл непосредственно в память. Приведенный выше код автоматически закроет ваш файл после завершения обработки.

Answer 2

Если вы хотите обработать строки в файле, вы должны лучше использовать:

for line in file: 
    # do something with the line 

Он будет читать файл строка за строкой, а не читать все это в памяти сразу.