простое регулярное выражение питона

Question

Я использую Python 2.x и я загрузке текста из файла, а вот одна строка из текста

Odio ¿Mañana pensar porque RT luego pasa lo que pasa Marzo ♡♡♡

Я нашел это регулярное выражение [^ \ x30- \ XFF], чтобы соответствовать именно символы, которые я хотел (с помощью онлайн-инструментов, регулярные выражения), но когда я использую его в своем коде, как это:

filtered_comments = re.sub("[^\x30-\xFF]", " ", all_comments) 

он не совпадает с тем же символы; вы можете попробовать это на http://pythex.org поэтому в этом тексте я хочу совместить ♡♡♡ и оставить ñ и ¿ .... любая идея?

Answer 1

Попробуйте следовать сценарию, см. #coding=utf-8 на первой линии. Для получения дополнительной информации см PEP-0263

# coding=utf-8 
import re 

comments = u"Odio ¿Mañana pensar porque RT luego pasa lo que pasa Marzo ♡♡♡" 

rx = re.compile(u"[\u2661]+") 

# If you want to remove non-ASCII characters, as you mentioned in comments, 
# uncomment following regex. 
# Downside is it will remove all accented characters too. 
# 
# rx = re.compile(u"[^\x00-\x7F]+") 

filtered_comments = re.sub(rx, " ", comments) 

print filtered_comments 

Это напечатает

Odio ¿Mañana pensar porque RT luego pasa lo que pasa Marzo 

Answer 2

Является all_comments из typestr или unicode? Если это тип unicode, и символы печатаются правильно, ваше регулярное выражение должно работать.

Если ваша строка имеет тип str, вам необходимо закодировать ее, используя правильную кодировку. Если предположить, что кодировка UTF-8, это будет работать:

filtered_comments = re.sub("[^\x30-\xFF]", " ", all_comments.decode('utf-8')) 

Еще одна вещь, чтобы отметить: вы ^\x30-\xFF матчи ! и # и ряд других символов, которые ниже \x30. Может быть, вы хотите ^\x20-\xFF, потому что \x20 - это место, которое является самым низким типичным символом ASCII?