Python - Юникод и двойная обратная косая черта

Question

Я сломал веб-страницу с помощью BeautifulSoup. я получил большой выход за исключением части списка выглядят как это после получения текста:

list = [u'that\\u2019s', u'it\\u2019ll', u'It\\u2019s', u'don\\u2019t', u'That\\u2019s', u'we\\u2019re', u'\\u2013'] 

Мой вопрос в том, как избавиться или заменить эти два раза подряд со специальными символами они.

Если я напечатать первый первый элемент примера список выглядит результат

print list[0] 
that\u2019s 

я уже читал много других вопросов/потоков по этой теме, но я в конечном итоге еще более запутанной, так как Я новичок, рассматривающий unicode/encoding/decoding.

Я надеюсь, что кто-то может помочь мне в этом вопросе.

Спасибо! MG

Answer 1

проблема здесь заключается в том, что сайт в конечном итоге двойной кодирующая эти Юникода аргументы, просто сделайте следующее:

ls = [u'that\\u2019s', u'it\\u2019ll', u'It\\u2019s', u'don\\u2019t', u'That\\u2019s', u'we\\u2019re', u'\\u2013'] 

ls = map(lambda x: x.decode('unicode-escape'), ls) 

теперь у вас есть список с должным Юникоде строк:

for a in ls: 
    print a 

Answer 2

Поскольку вы используете Python 2 там, это просто вопрос повторного применения метода «декодирования» - с помощью специального кодека «unicode_escape». Он «видит» в «физических» люфты и декодирует эти последовательности соответствующие символы Юникода:

data = [u'that\\u2019s', u'it\\u2019ll', u'It\\u2019s', u'don\\u2019t', u'That\\u2019s', u'we\\u2019re', u'\\u2013'] 

result = [part.decode('unicode_escape') for part in data] 

Чтобы aAnyone получать здесь с помощью Python3: в этой версии не может применить метод «Decode» к str объектов, поставляемых BeautifulSoup - нужно сначала перекодировать их на объекты с байтовой строкой, а затем декодировать с помощью кодека uncode_escape. Для этих целей полезно использовать в latin1 кодека как transparent кодирования: все байты в объекте ул сохранились в новых байтах объекта:

result = [part.encode('latin1').decode('unicode_escape') for part in data]