Python regex splitting дополнительно на _

Question

Я пытаюсь разбить строку на python с помощью регулярных выражений. Эта линия работает почти идеально для меня:

from string import punctuation 
import re 
row = re.findall('\w+|[{0}]+'.format(punctuation), string) 

Однако он не разбивает строку на экземпляры _. Например:

>>> string = "Hi my name is _Mark. I like apples!! Do you?!" 
>>> row = re.findall('\w+|[{0}]+'.format(punctuation), string) 
>>> row 
['Hi', 'my', 'name', 'is', '_Mark', '.', 'I', 'like', 'apples', '!!', 'Do', 'you', '?!'] 

Что я хочу:

['Hi', 'my', 'name', 'is', '_', 'Mark', '.', 'I', 'like', 'apples', '!!', 'Do', 'you', '?!'] 

Я прочитал его, потому что _ считается характер. Кто-нибудь знает, как это сделать? Спасибо за помощь.

Answer 1

Поскольку \w будет соответствовать подчеркивание, вы можете более непосредственно указать, что вы считаете характер не слишком много больше работы:

re.findall('[a-zA-Z0-9]+|[{0}]+'.format(punctuation), string) 

Answer 2

Так как левая сторона дизъюнкции всегда будет соответствовать первой, если это возможно, вы можете просто включить _ с символами пунктуации перед тем вы подходите буквы:

row = re.findall(r'[{0}_]+|\w+'.format(string.punctuation), mystring) 

Но вы можете сделать то же самое, не утруждая string.punctuation. «Пунктуация» - это все, что не является ни пространством, ни символом слова:

row = re.findall(r"(?:[^\s\w]|_)+|\w+", mystring) 

PS. В вашем примере кода строка с именем string «затеняет» модуль string. Не делайте этого, это плохая практика и приводит к ошибкам.

Answer 3

ясно сказано в Python docs, что \w включают не только буквенно-цифровые символы, но и подчеркивание, а также:

\ ш

Когда локаль и UNICODE флаги не указаны, соответствует любому буквенно-цифровой символ и символ подчеркивания; это эквивалентно набору [a-zA-Z0-9_]. С помощью LOCALE он будет соответствовать набору [0-9_] плюс любые символы, определенные как буквенно-цифровые для текущего локального . Если установлен UNICODE, это будет соответствовать символам [0-9_] плюс , что классифицируется как буквенно-цифровое в символе Unicode .

так как Эрик отметил в своем решении, лучше указать набор только алфавитно-цифровых символов [a-zA-Z0-9]