Удалить символы юникода python

Question

Я тяну твиты в python, используя tweepy. Он отображает все данные в формате Юникод. Например: тип печати (данные) дает мне <type 'unicode'>

В нем содержатся символы Юникода. Например: hello\u2026 im am fine\u2019s

Я хочу удалить все эти символы Юникода. Есть ли регулярное выражение, которое я могу использовать? str.replace не является жизнеспособным вариантом, так как символы юникода могут быть любыми значениями: от смайликов до юникодовых апострофов.

Answer 1

In [10]: from unicodedata import normalize 

In [11]: out_text = normalize('NFKD', input_text).encode('ascii','ignore') 

Попробуйте это.

Редактировать

На самом деле нормализуют Верните нормальную форму формы для строки unistr Unicode. Допустимыми значениями для формы являются «NFC», «NFKC», «NFD» и «NFKD». Если вы ЗАС больше о NFKD идти к этому link

In [12]: u = unichr(40960) + u'abcd' + unichr(1972) 
In [13]: u.encode('utf-8') 
Out[13]: '\xea\x80\x80abcd\xde\xb4' 
In [14]: u 
Out[14]: u'\ua000abcd\u07b4' 
In [16]: u.encode('ascii', 'ignore') 
Out[16]: 'abcd' 

Из приведенной выше коды вы получите то, что encode('ascii','ignore') делает.

Ref: https://docs.python.org/2/library/unicodedata.html#unicodedata.normalize