Чтение Regex Character Class Тендерный из файла

Question

Я читаю регулярное выражение из файла и вообще не было никаких проблем, пока этот один не пришел:

^X.{0,2}[\u2E80-\u9FFF] # \u2E80-\u9FFF matches most Chinese and Japanese characters 

Регулярное выражение прекрасно работает при компиляции внутри:

p = re.compile(u'^X.{0,2}[\u2E80-\u9FFF]', re.IGNORECASE | re.UNICODE) 
print p.search(u'XFlowers for you') 
>> none 
print p.search(u'X桜桜桜桜') 
>> <match object> 

, но спецификатор диапазона символов, по-видимому, искажен в процессе импорта, поскольку он соответствует практически всему, начиная с X после этого:

f = codecs.open(filename, "r", "utf-8") 
lines = f.read().splitlines() 
filePatterns = FileHelper.fileToList(ignoreFile) 
patternList = [re.compile(x, re.IGNORECASE | re.UNICODE) for x in ignorePatterns] 

for name in [u'XFlowers for you', u'X桜桜桜桜'] 
    for pattern in patternList: 
     print pattern.search(name): 

Это будет соответствовать обеим строкам.

Кто-нибудь знает, как это решить? Спасибо!

Answer 1

Проблема заключается здесь:

>>> u'^X.{0,2}[\u2E80-\u9FFF]' 
u'^X.{0,2}[\u2e80-\u9fff]' 

против

>>> '^X.{0,2}[\u2E80-\u9FFF]' 
'^X.{0,2}[\\u2E80-\\u9FFF]' 

Обратите внимание на разницу? В первом примере вы получите строку Unicode с действительными символами Unicode (это только отображается как escape-последовательности), вторая дает строку не-Юникод с обратными косыми чертами и синтаксически сломанным классом символов.

Когда вы читаете выражение из файла, вы получаете второй вариант. Вам нужно, чтобы превратить это в строку Unicode - либо сохранить файл как Unicode и используя фактические Unicode символы, а не управляющие последовательности Python, или, сохраняя все, как и с помощью вспомогательной функции от this answer,

import re 

def unicode_unescape(s): 
     """ 
     Turn \uxxxx escapes into actual unicode characters 
     """ 
     def unescape_one_match(matchObj): 
       escape_seq = matchObj.group(0) 
       return escape_seq.decode('unicode_escape') 
     return re.sub(r"\\u[0-9a-fA-F]{4}", unescape_one_match, s) 

вы можете сделать

>>> unicode_unescape('^X.{0,2}[\u2E80-\u9FFF]') 
u'^X.{0,2}[\u2e80-\u9fff]' 

или, в контексте:

f = codecs.open(filename, "r", "utf-8") 
lines = f.read().splitlines() 
filePatterns = FileHelper.fileToList(ignoreFile) 
patternList = [re.compile(unicode_unescape(x), re.IGNORECASE | re.UNICODE) for x in patternList] 

for name in [u'XFlowers for you', u'X桜桜桜桜'] 
    for pattern in patternList: 
     print pattern.search(name); 

Answer 2

Если вам нужно только английские алфавиты и цифры должны быть согласованы, а не ASCII или другие символы попробовать это регулярное выражение - «\ Ь^Х [\ u0000- \ u007F] + \ б»

Это будет соответствовать только «XFlowers for you»

Надеюсь, это поможет.

Спасибо.