Открытие большого файла JSON в Python

Question

У меня есть файл JSON 1,7 ГБ, когда я пытаюсь открыть с помощью json.load(), тогда он дает ошибку памяти. Как читать json-файл в python?

My JSON file - это большой массив объектов, содержащих определенные ключи.

EDIT: Хорошо, если это всего лишь один большой массив объектов, и заранее известна структура объектов, тогда нет необходимости использовать инструменты, которые мы могли бы читать по строкам. Строка будет содержать только один элемент массива. Я заметил, что это путь JSON файлы сохраняются, для меня он работал, как только

>>>for line in open('file.json','r').readline(): 
... do something with(line) 

Answer 1

Вы хотите добавочное JSon анализатор как yajl и один из его питона привязок. Инкрементный синтаксический анализатор читает как можно меньше от ввода и вызывает обратный вызов, когда что-то значимое декодируется. Например, чтобы вытащить только номера из большого файла JSon:

class ContentHandler(YajlContentHandler): 
    def yajl_number(self, ctx, val): 
     list_of_numbers.append(float(val)) 

parser = YajlParser(ContentHandler()) 
parser.parse(some_file) 

Смотрите http://pykler.github.com/yajl-py/ для получения дополнительной информации.

Answer 2

Я нашел еще одну обертку python около yajl библиотека, которая является ijson.

Он работает лучше для меня, чем yajl-py в силу следующих причин:

• yajl-ру не обнаружили библиотеку yajl в моей системе, я должен был взломать код, чтобы заставить его работать
• ijson код более компактный и простой в использовании
• ijson может работать как с yajl v1 и v2 yajl, и даже имеет чистого питон замена yajl
• ijson имеет очень хороший ObjectBuilder, который помогает извлекая п ВЗ только события, но значимые суб-объекты из разобранного потока, так и на уровне вы задаете

Answer 3

Я нашел yajl (отсюда ijson) будет гораздо медленнее, чем модуль json, когда большой файл данных был доступ с локального диска. Вот это модуль, который утверждает, что лучше, чем yajl/ijson (еще медленнее, чем json), при использовании с Cython:

http://pietrobattiston.it/jsaone

Как указывает автор, производительность может быть лучше, чем json когда файл полученной по сети, поскольку инкрементный синтаксический анализатор может начать синтаксический анализ раньше.

Answer 4

Вот еще один инкрементный анализатор JSON.

https://pypi.python.org/pypi/jsonstream/1.0.0

Я не использовал его.