Разбор ввода Unicode с использованием python json.loads

Question

Каков наилучший способ загрузки строк JSON в Python?

Я хочу использовать json.loads обрабатывать юникод, как это:

import json 
json.loads(unicode_string_to_load) 

Я также попытался поставлять «» кодирующую параметр со значением «UTF-16», но ошибка не ушла.

Полная SSCCE с ошибкой:

# -*- coding: utf-8 -*- 
import json 
value = '{"foo" : "bar"}' 
print(json.loads(value)['foo'])  #This is correct, prints 'bar' 

some_unicode = unicode("degradé") 
#last character is latin e with acute "\xe3\xa9" 
value = '{"foo" : "' + some_unicode + '"}' 
print(json.loads(value)['foo'])   #incorrect, throws error 

Ошибка:

UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 
6: ordinal not in range(128) 

Answer 1

В ОП проясняет (в комментариях!) ...:

Source data is huge unicode encoded string

Тогда вы должны знать , который из многих кодировок Юникода, которые он использует, - явно не «utf-16», поскольку это не удалось, b ut есть так много других - «utf-8», «iso-8859-15» и т. д. Вы либо пробуете их все до тех пор, пока не сработаете, либо print repr(str_to_load[:80]), и вставьте то, что он показывает, как редактирование вашего вопроса, поэтому мы можем догадаться от вашего имени! -).

Answer 2

Я типажей строку в юникод строку, используя 'латино-1' исправлена ​​ошибка:

UnicodeDecodeError: 'utf16' codec can't decode byte 0x38 in 
position 6: truncated data 

Фиксированный код:

import json 

ustr_to_load = unicode(str_to_load, 'latin-1') 

json.loads(ustr_to_load) 

И тогда ошибка не выдается.

Answer 3

С помощью django вы можете использовать SimpleJSON и использовать нагрузки вместо простой загрузки.

from django.utils import simplejson 

simplejson.loads(str_to_load, "utf-8") 

Answer 4

Самый простой способ я нашел

import simplejson as json 

таким образом ваш код остается тем же

json.loads(str_to_load) 

ссылка: https://simplejson.readthedocs.org/en/latest/