Как декодировать символ японской йены в Python?

Question

Я получил данные о байтах, включая символ японской йены (¥). Это, по-видимому, выражается как \xc2\xa5.

Однако я не могу декодировать символ иены. Например,

yen = b"\xc2\xa5" 
type(yen) # return bytes 
yen.decode("utf-8") # return UnicodeEncodeError: 'ascii' codec can't encode character '\xa5' error 
import chardet 
chardet.detect(yen) # return {'confidence': 0.73, 'encoding': 'windows-1252'} 
yen.decode("windows-1252") # return another UnicodeEncodeError: 'ascii' codec can't encode characters error 

Данные байт У меня может быть расшифрован, как utf-8 в других аспектах. Только символ японской йены не может быть расшифрован, независимо от того, какую кодировку вы используете.

Так как я могу его декодировать?

Answer 1

Проблема возникла из настроек терминала и оболочки. В частности, для того, чтобы работа декодирования работала должным образом, ваш sys.stdout.encoding должен вернуть UTF-8.

Если вы не получили UTF-8, вам необходимо указать переменную $LANG. В моем случае это вернуло en_US.UTF-8, но так как у моего ~/.zprofile не было ключевого слова export, sys.stdout.encoding было отправлено US-ASCII, а не UTF-8. Таким образом, вы должны установить в вашем ~/.zprofile (или ~/.bash_profile) как:

export LC_ALL="en_US.UTF-8" 
export LANG="en_US.UTF-8" 

И теперь вы должны получить UTF-8 от sys.stdout.encoding.

Для получения дополнительной информации о настройке правильной локали в вашей оболочке и терминале на macOS см. the following question.