Python Как исправить сломанную кодировку utf-8?

Question

Моя строка Niệm Bồ Tát (Thiá»n sÆ° Nhất Hạnh) и я хочу расшифровать его Niệm Bồ Tát (Thiền sư Nhất Hạnh) я вижу на этом сайте может сделать это http://www.enderminh.com/minh/utf8-to-unicode-converter.aspx

и я начинаю пробовать на Python

mystr = '09. Bát Nhã Tâm Kinh' 
mystr.decode('utf-8') 

, но на самом деле это не правильно, потому что Исходная строка - utf-8, но строка show не является ожидаемым результатом.

Примечание: это вьетнамский персонаж.

Как разрешить этот случай? Это Windows Unicode или что-то еще? Как определить кодировку здесь. Заранее спасибо

Answer 1

Я не уверен, что вы можете сделать с таким родом данных, но для примера в исходном сообщении, это работает:

>>> mystr = '09. Bát Nhã Tâm Kinh' 
>>> s = mystr.decode('utf8').encode('latin1').decode('utf8') 
>>> s 
u'09. B\xe1t Nh\xe3 T\xe2m Kinh' 
>>> print(s) 
09. Bát Nhã Tâm Kinh 

Answer 2

Единственное, что помог мне с неработающим cyrillic string - https://github.com/LuminosoInsight/python-ftfy

Этот модуль исправляет почти все и работает намного лучше, чем онлайн-декодеры.

>>> from ftfy import fix_encoding 
>>> mystr = '09. Bát Nhã Tâm Kinh' 
>>> fix_encoding(mystr) 
'09. Bát Nhã Tâm Kinh' 

Он может быть легко установлен с помощью pip install ftfy