Итеративно разбора JSON файл

Question

У меня есть 1000 + JSON-файлы, которые выглядят как

{ 
    "name": "Some name", 
    "part_num": "123456", 

    "other_config": { 
     // Large amount of objects 
    }, 
    "some more": { 
     // Large amount of objects 
    } 
    // etc 
} 

Когда моя программа запускается, он должен сканировать директорию со всеми этими JSON файлов, загружать каждый из них, и извлечь "name" и "part_num" и заполняет список с этими значениями. Затем пользователь выбирает один, и этот конфиг затем повторно обрабатывается и предпринимаются соответствующие действия.

Проблема заключается в том, что многие файлы занимают некоторое время. Я немного смягчил его, используя multiprocessing, чтобы бросить работу по всем доступным ядрам в фоновом режиме, а затем заполнить список, как только это сделано, но я все еще ограничен IO. Поскольку я знаю, что этот код будет работать на компьютерах с более медленными процессорами и жесткими дисками, чем у меня, эта скорость неприемлема.

В среднем случае сценарий состоит в том, что значения, которые мне нужны, находятся в начале файла, но я не могу предположить, что это в худшем случае. Есть ли способ итеративного разбора файла JSON, чтобы я мог быстрее загружать то, что мне нужно из этих файлов?

Я мог бы прибегнуть к регулярному выражению, but I'd really prefer not to.

Answer 1

YAJL - это парсер, управляемый событиями, с Python bindings. Таким образом, вы можете прекратить разбор, как только вы получите необходимую информацию.

Answer 2

Это напоминало мне об XML в тот же день, когда у нас было три стиля парсеров: основанный на DOM (например, SAX) и менее известный на основе pull (например, StAX). Последние два были более эффективными, поскольку они не требовали загрузки всего файла в память, когда вам нужны только его фрагменты.

К счастью, подобные вещи существуют для JSON. Для Python взгляните на yajl-py, который является оболочкой Python для C-библиотеки Yajl.

Требуется немного больше кода для синтаксического анализа через парсер, основанный на событиях, но он может быть намного более эффективным.

Answer 3

Существует ijson, который выполняет итеративный разбор json в режиме pythonc.

Я думаю, что решение вашей проблемы будет:

import ijson 

f = open('...') 
objects = ijson.items(f, 'other_config.item') 
for part in objects: 
    do_something_with(part) 

Dislaimer Я не использовал эту библиотеку.