lxml unicode output issue

Question

Новое на python и lxml, поэтому, пожалуйста, несите меня. Теперь застрял в том, что похоже на проблему с unicode. Я попробовал .encode, красивый юбокодэммит из супа без везения. Если бы вы искали форум и веб-сайт, но моя нехватка навыка python не смогла применить предлагаемое решение для моего конкретного кода. Цените любую помощь, спасибо.

Код:

import requests 
import lxml.html 

sourceUrl = "http://www.hkex.com.hk/eng/market/sec_tradinfo/stockcode/eisdeqty.htm" 

sourceHtml = requests.get(sourceUrl) 

htmlTree = lxml.html.fromstring(sourceHtml.text) 

for stockCodes in htmlTree.xpath('''/html/body/printfriendly/table/tr/td/table/tr/td/table/tr/table/tr/td'''): 
    string = stockCodes.text 
    print string 

Ошибка:

UnicodeEncodeError: 'ascii' codec can't encode character u'\xa0' in position 0: ordinal not in range(128) 

Answer 1

Когда я запускаю свой код, как этот python lx.py, я не получаю сообщение об ошибке. Но когда я отправляю результат на sdtout python lx.py > output.txt, это происходит. Так что попробуйте это:

# -*- coding: utf-8 -*- 
import requests 
import lxml.html 
import sys 
reload(sys) 
sys.setdefaultencoding('utf-8') 

Это позволяет перейти от ASCII по умолчанию в UTF-8, что среда выполнения Python будет использовать всякий раз, когда он должен декодировать буфер строки в Unicode.

Answer 2

Атрибут text всегда возвращает чистые байты, но атрибут контента должен попытаться его закодировать. Вы также можете попробовать: sourceHTML.text.encode('utf-8') или sourceHTML.text.encode('ascii'), но я уверен, что последнее приведет к тому же исключению.