не может открыть Юникода URL с питона

Question

с помощью Python 2.5.2 и Linux Debian я пытаюсь получить содержимое из испанского URL, который содержит испанский символ («I»):

import urllib 
url = u'http://mydomain.es/índice.html' 
content = urllib.urlopen(url).read()

I «получаю эту ошибку:

UnicodeEncodeError: 'ascii' codec can't encode character u'\xe1' in position 8: ordinal not in range(128)

Я попытался с помощью, прежде чем передать URL в URLLIB это:

url = urllib.quote(url)

и это:

url = url.encode('UTF-8')

, но он не работает

вы можете сказать мне, что я делаю неправильно?

Answer 1

согласно действующему стандарту, RFC 1378, URL может содержать только ASCII символы. Хорошее объяснение here, и я цитирую:

"...Only alphanumerics [0-9a-zA-Z], the special characters "$-_.+!*'()," [not including the quotes - ed], and reserved characters used for their reserved purposes may be used unencoded within a URL."

В качестве URL-адреса я дал объяснения, это, вероятно, означает, что вам придется заменить, что «в нижнем регистре я с острым ударением» с `% ED».

Answer 2

Кодирование URL-адреса как utf-8 должно работать. Интересно, правильно ли закодирован ваш исходный файл и знает ли его интерпретатор. Если ваш исходный файл питон будет сохранен как UTF-8, например, то вы должны иметь

# coding=UTF-8 

в качестве первой или второй линии.

import urllib 
url = u'http://mydomain.es/índice.html' 
content = urllib.urlopen(url.encode('utf-8')).read() 

работает для меня.

Редактировать: также помните, что текст Unicode в интерактивном сеансе Python (будь то через IDLE или консоль) чреват сложностью, связанной с кодировкой. В этих случаях вы должны использовать литералы Unicode (например, в вашем случае).

Answer 3

Это работает для меня:

#!/usr/bin/env python 
# define source file encoding, see: http://www.python.org/dev/peps/pep-0263/ 
# -*- coding: utf-8 -*- 

import urllib 
url = u'http://example.com/índice.html' 
content = urllib.urlopen(url.encode("UTF-8")).read() 

Answer 4

Это работает для меня. Убедитесь, что вы используете довольно недавнюю версию Python, и ваша кодировка файла верна. Вот мой код:

# -*- coding: utf-8 -*- 
import urllib 
url = u'http://mydomain.es/índice.html' 
url = url.encode('utf-8') 
content = urllib.urlopen(url).read() 

(mydomain.es не существует, поэтому DNS поиск неудачен, но нет никаких проблем Юникода в этой точке.)