Как конвертировать текст в формате Юникод в обычный текст

Question

Я изучаю красивый суп в Python.

Я пытаюсь разобрать простую веб-страницу со списком книг.

например

<a href="https://www.nostarch.com/carhacking">The Car Hacker’s Handbook</a> 

Я использую следующий код.

import requests, bs4 
res = requests.get('http://nostarch.com') 
res.raise_for_status() 
nSoup = bs4.BeautifulSoup(res.text,"html.parser") 
elems = nSoup.select('.product-body a') 

#elems[0] gives 
<a href="https://www.nostarch.com/carhacking">The Car Hacker\u2019s Handbook</a> 

И

#elems[0].getText() gives 
u'The Car Hacker\u2019s Handbook' 

Но я хочу правильный текст, который дается,

s = elems[0].getText() 
print s 
>>>The Car Hacker’s Handbook 

Как изменить мой код, чтобы дать «Handbook рсА Хакер» выход вместо из «u'The Car Hacker \ u2019s Handbook»?

Просьба помочь.

Answer 1

Вы пробовали использовать метод кодирования?

elems[0].getText().encode('utf-8') 

Более подробную информацию о Юникод и питона можно найти в https://docs.python.org/2/howto/unicode.html

Кроме того, чтобы обнаружить, если ваша строка действительно UTF-8 кодируются вы можете использовать chardet и выполните следующую команду:

>>> import chardet 
>>> chardet.detect(elems[0].getText()) 
{'confidence': 0.5, 'encoding': 'utf-8'} 

Answer 2

вы можете попробовать

import unicodedata 

def normText(unicodeText): 
return unicodedata.normalize('NFKD', unicodeText).encode('ascii','ignore') 

Это CONV ert unicodetext в обычный текст, и вы можете записать в файл.