Как обрабатывать символы Unicode (не ASCII) в Python?

Question

Я программирую в Python, и я получаю информацию с веб-страницы через библиотеку urllib2. Проблема заключается в том, что эта страница может предоставить мне с не-ASCII символов, как 'ñ', 'á' и т.д. В тот самый момент, urllib2 получает этот характер, он вызывает исключение, например:

File "c:\Python25\lib\httplib.py", line 711, in send 
    self.sock.sendall(str) 
File "<string>", line 1, in sendall: 
    UnicodeEncodeError: 'ascii' codec can't encode character u'\xf1' in position 74: ordinal not in range(128) 

мне нужно обращаться эти персонажи. Я имею в виду, что я не хочу обрабатывать исключение, но продолжать программу. Есть ли какой-либо способ, например (я не знаю, если это что-то глупое), используйте другой codec, а не ASCII? Потому что мне нужно работать с этими символами, вставлять их в базу данных и т. Д.

Answer 1

Вы только что прочитали набор байтов из сокета. Если вы хотите строку, которую вы должны расшифровать его:

yourstring = receivedbytes.decode("utf-8") 

(заменяя любые кодирования вы используете для utf-8)

Тогда вы должны сделать обратное, чтобы отправить его обратно:

outbytes = yourstring.encode("utf-8") 

Answer 2

Вы хотите использовать unicode для всей своей работы, если сможете.

Вы, вероятно, найти этот вопрос/ответ полезным:

urllib2 read to Unicode

Answer 3

Вы можете посмотреть в использовании фактической библиотеки синтаксического анализа, чтобы найти эту информацию. lxml, например, уже обращается к кодировке/декодированию Unicode с использованием объявленного набора символов.