Снимать специальные символы и знаки препинания из строки юникода

Question

Я пытаюсь удалить знаки препинания из строки в Юникоде, которая может содержать буквы, отличные от ascii. Я попытался с помощью regex модуля:

import regex 
text = u"<Üäik>" 
regex.sub(ur"\p{P}+", "", text) 

Однако, я заметил, что персонажи < и > не удаляются. Кто-нибудь знает, почему и есть ли другой способ преградить пунктуацию из строк Unicode?

EDIT: Еще один подход, который я опробовал делает:

import string 
text = text.encode("utf8").translate(None, string.punctuation).decode("utf8") 

, но я хотел бы избежать преобразования текста из Юникода в строку и обратно.

Answer 1

< и > классифицируются как Math Symbols (Sm), не пунктуация (P). Вы можете соответствовать либо:

regex.sub('[\p{P}\p{Sm}]+', '', text) 

Метод unicode.translate() тоже существует и занимает словарю отображение целых чисел (кодовых) либо к другим целочисленных кодовых, Юникода характера или None; None удаляет этот код. Карта string.punctuation в ord() с кодовыми точками:

text.translate(dict.fromkeys(ord(c) for c in string.punctuation)) 

Это только удаляет только ограниченное количество ASCII символов пунктуации.

Демо:

>>> import regex 
>>> text = u"<Üäik>" 
>>> print regex.sub('[\p{P}\p{Sm}]+', '', text) 
Üäik 
>>> import string 
>>> print text.translate(dict.fromkeys(ord(c) for c in string.punctuation)) 
Üäik 

Answer 2

Попробуйте string модуль

import string,re 
text = u"<Üäik>" 
out = re.sub('[%s]' % re.escape(string.punctuation), '', text) 
print out 
print type(out) 

Prints-

Üäik 
<type 'unicode'> 

Answer 3

\p{P} соответствует знаки препинания.

Эти знаки пунктуации являются

! ' # S % & ' () * + , - ./: ; <=> ? @ [/]^_ { | } ~ 

< и > не знаки препинания. Поэтому они не будут удалены.

Попробуйте вместо

re.sub('[\p{L}<>]+',"",text)