Как найти уникальные значения в большом файле JSON?

Question

У меня есть 2 файла json размером data_large(150.1mb) и data_small(7.5kb). Содержимое внутри каждого файла имеет тип [{"score": 68},{"score": 78}]. Мне нужно найти список уникальных баллов из каждого файла.

Имея дело с data_small, я сделал следующее, и мне удалось просмотреть его содержимое с помощью 0.1 secs.

with open('data_small') as f: 
    content = json.load(f) 

print content # I'll be applying the logic to find the unique values later. 

Но при работе с data_large, я сделал следующее, и моя система получила повешен, медленно и пришлось заставить запорно-вниз, чтобы привести его в его нормальной скорости. Для печати его содержимого потребовалось около 2 mins.

with open('data_large') as f: 
    content = json.load(f) 

print content # I'll be applying the logic to find the unique values later. 

Как я могу увеличить эффективность программы при работе с большими наборами данных?

Answer 1

Поскольку файл JSON не такой большой, и вы можете себе позволить, чтобы открыть его в барана все сразу, вы можете получить все уникальные значения, такие как:

with open('data_large') as f: 
    content = json.load(f) 

# do not print content since it prints it to stdout which will be pretty slow 

# get the unique values 
values = set() 
for item in content: 
    values.add(item['score']) 

# the above uses less memory compared to this 
# since this has to create another array with all values 
# and then filter it for unique values 
values = set([i['score'] for i in content]) 

# its faster to save the results to a file rather than print them 
with open('results.json', 'wb') as fid: 
    # json cant serialize sets hence conversion to list 
    json.dump(list(values), fid) 

Если вам нужно будет обрабатывать даже большие файлы , затем найдите другие библиотеки, которые могут анализировать json-файл итеративно.

Answer 2

Если вы хотите перебрать JSON-файл в меньшие куски, чтобы сохранить RAM, я предлагаю подход ниже, основываясь на ваших комментариях, которые вы не хотели использовать ijson для этого. Это работает только потому, что ваши входные данные образца настолько просты и состоят из массива словарей с одним ключом и одним значением. Это усложнилось бы с более сложными данными, и я бы пошел с реальной потоковой библиотекой JSON в этот момент.

import json 

bytes_to_read = 10000 
unique_scores = set() 

with open('tmp.txt') as f: 
chunk = f.read(bytes_to_read) 
while chunk: 
    # Find indices of dictionaries in chunk 
    if '{' not in chunk: 
     break 
    opening = chunk.index('{') 
    ending = chunk.rindex('}') 

    # Load JSON and set scores. 
    score_dicts = json.loads('[' + chunk[opening:ending+1] + ']') 
    for s in score_dicts: 
     unique_scores.add(s.values()[0]) 

    # Read next chunk from last processed dict. 
    f.seek(-(len(chunk) - ending) + 1, 1) 
    chunk = f.read(bytes_to_read) 
print unique_scores