Python Юникода в Mac OS X терминала

Question

Может кто-нибудь объяснить мне эту странную вещь:

Когда в оболочке Python Я введите следующую кириллицы строку:

>>> print 'абвгд' 
абвгд 

, но когда я типа:

>>> print u'абвгд' 
Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-9: ordinal not in range(128) 

Поскольку первая тройка вышла правильно, я считаю, что мой терминал OS X может представлять собой unicode, но, оказывается, он не может быть во втором случае. Зачем ?

Answer 1

>>> print 'абвгд' 
абвгд 

При вводе некоторых символов ваш терминал решает, как эти символы представлены в приложении. Ваш терминал может предоставить символы приложениям, закодированным как utf-8, ISO-8859-5, или даже то, что понимает только ваш терминал. Python получает эти символы как некоторую последовательность байтов. Затем python выводит эти байты так, как они есть, и ваш терминал каким-то образом интерпретирует их для отображения символов. Так как ваш терминал обычно интерпретирует байты таким же образом, как он закодирован их прежде, все отображается, как вы ввели его.

>>> u'абвгд' 

Здесь вы вводите в некоторых символов, которые поступают на питона переводчика в виде последовательности байтов, возможно, каким-то образом закодирован терминалом. С префиксом u python пытается преобразовать эти данные в unicode. Для этого python должен знать, какую кодировку использует ваш терминал. В вашем случае похоже, что Python догадывается, что кодирование ваших терминалов будет ASCII, но полученные данные не соответствуют этому, поэтому вы получаете ошибку кодирования.

Прямой вперед способ создания Юникода строки в интерактивной сессии поэтому было бы что-то подобное это:

>>> us = 'абвгд'.decode('my-terminal-encoding') 

В файлах вы можете также указать кодировку файла с помощью специального режима линии:

# -*- encoding: ISO-8859-5 -*- 
us = u'абвгд' 

Для других способов установки кодировки ввода по умолчанию вы можете посмотреть sys.setdefaultencoding(...) или sys.stdin.encoding.

Answer 2

Юникодный объект должен быть закодирован, прежде чем он будет отображаться на некоторых консолях. Попробуйте

u'абвгд'.encode() 

вместо того, чтобы кодировать юникод на объект строки (скорее всего, используя utf8 в качестве кодировки по умолчанию, но зависит от питона конфигурации)

Answer 3

Кроме того, убедитесь, что терминал кодирование установлено в Unicode/UTF-8 (а не ASCII, который, кажется, ваша установка):

http://www.rift.dk/news.php?item.7.6

Answer 4

в дополнение к обеспечению вашего X терминала OS устанавливается в UTF-8, вы можете установить питона кодировку SYS по умолчанию к UTF-8 или лучше. Создайте файл в /Library/Python/2.5/site-packages под названием sitecustomize.py. В этом файле поместить:

import sys 
sys.setdefaultencoding('utf-8') 

Метод setdefaultencoding доступен только модулем сайта, и удаляется из sys namespace once startup has completed. Таким образом, вам нужно будет запустить новый интерпретатор python, чтобы изменения вступили в силу. Вы можете проверить текущий код по умолчанию в любое время после запуска с sys.getdefaultencoding().

Если символы уже не юникода и вам нужно преобразовать их, используйте метод decode на шнурке, чтобы декодировать текст из какой-либо другой кодировки в юникод ... лучше всего указать, какая кодировка:

s = 'абвгд'.decode('some_cyrillic_charset') # makes the string unicode 
print s.encode('utf-8') # transform the unicode into utf-8, then print it 

Answer 5

«абвгд» не является юникода строкой

u'абвгда»является юникода строкой

Вы не можете печатать Юникод строки без кодирующих их. Когда вы имеете дело со строками в своем приложении, вы хотите удостовериться, что любой вход декодирован и любой вывод в кодировке. Таким образом, ваше приложение будет обрабатывать только строки unicode внутри и выводить строки в UTF8.

Для справки:

>>> 'абвгд'.decode('utf8') == u'абвгд' 
>>> True 

Answer 6

На Python 2.6, вы можете использовать переменные окружения PYTHONIOENCODING сказать Python, что ваш терминал UTF-8 способен. Самый простой способ сделать это перманент, добавив следующую строку в ~/.bash_profile:

export PYTHONIOENCODING=utf-8