Ошибка Python: кодек 'utf8' не может декодировать байт 0x92 в позиции 85: недопустимый стартовый байт

Question

Я использую python2.7 и lxml. Мой код ниже

import urllib 
from lxml import html 

def get_value(el): 
    return get_text(el, 'value') or el.text_content() 

response = urllib.urlopen('http://www.edmunds.com/dealerships/Texas/Frisco/DavidMcDavidHondaofFrisco/fullsales-504210667.html').read() 
dom = html.fromstring(response) 

try: 
    description = get_value(dom.xpath("//div[@class='description item vcard']")[0].xpath(".//p[@class='sales-review-paragraph loose-spacing']")[0]) 
except IndexError, e: 
    description = '' 

Кодекса аварий внутри попытки, давая ошибку

UnicodeDecodeError at/
'utf8' codec can't decode byte 0x92 in position 85: invalid start byte 

Строка, которая не может быть кодировать/декодировать был: ouldnt быть

У меня есть пытался использовать множество методов, включая .encode ('utf8'), но никто не решает проблему. У меня 2 вопроса:

1. Как решить эту проблему
2. Как мой крах приложения, когда код проблемы заключается между попыткой кроме

Answer 1

Страница подается с charset=ISO-8859-1. Декодируем от этого до unicode.

[

Answer 2

1. • пропустить символы на ошибках, или правильно декодировать его в Юникоде.
2. • вы только поймать IndexError, а не UnicodeDecodeError

Answer 3

Ваш исключением пункта обрабатывает только исключения типа IndexError. Проблема заключалась в UnicodeDecodeError, который не является IndexError, поэтому исключение не обрабатывается этим исключением.

Также неясно, что делает «get_value», и это может быть причиной возникновения реальной проблемы.

Answer 4

1. декодировать ответ на unicode, правильно обрабатывать ошибки (игнорировать при ошибке) перед синтаксическим анализом fromhtml.

2. уловить UnicodeDecodeError или все ошибки.