питона чтение Юникода символов из HTML

Question

У меня есть скрипт, который читает текст с веб-страницы:

page = urllib2.urlopen(url).read() 
soup = BeautifulSoup(page); 
paragraphs = soup.findAll('p'); 

for p in paragraphs: 
    content = content+p.text+" "; 

В веб-странице У меня есть эта строка:

Möddinghofe 

Мой сценарий читает его как :

Möddinghofe 

Как я могу читать его так, как есть?

Answer 1

Надеется, что это поможет вам

from BeautifulSoup import BeautifulStoneSoup 
import cgi 

def HTMLEntitiesToUnicode(text): 
    """Converts HTML entities to unicode. For example '&' becomes '&'.""" 
    text = unicode(BeautifulStoneSoup(text, convertEntities=BeautifulStoneSoup.ALL_ENTITIES)) 
    return text 

def unicodeToHTMLEntities(text): 
    """Converts unicode to HTML entities. For example '&' becomes '&'.""" 
    text = cgi.escape(text).encode('ascii', 'xmlcharrefreplace') 
    return text 

text = "&, ®, <, >, ¢, £, ¥, €, §, ©" 

uni = HTMLEntitiesToUnicode(text) 
htmlent = unicodeToHTMLEntities(uni) 

print uni 
print htmlent 
# &, ®, <, >, ¢, £, ¥, €, §, © 
# &amp;, &#174;, &lt;, &gt;, &#162;, &#163;, &#165;, &#8364;, &#167;, &#169; 

ссылки: Convert HTML entities to Unicode and vice versa

Answer 2

Я предлагаю вам взглянуть на encoding разделе документации BeautifulSoup.