Как можно разделить границы слов с помощью регулярных выражений?

Question

Я пытаюсь сделать это:

import re 
sentence = "How are you?" 
print(re.split(r'\b', sentence)) 

в результате чего

[u'How are you?'] 

Я хочу что-то вроде [u'How', u'are', u'you', u'?']. Как это можно достичь?

Answer 1

К сожалению, Python не может разделить пустые строки.

Чтобы обойти это, вам нужно будет использовать findall вместо split.

Фактически \b просто означает границу слова.

Это равнозначно (?<=\w)(?=\W)|(?<=\W)(?=\w).

Это означает, что следующий код будет работать:

import re 
sentence = "How are you?" 
print(re.findall(r'\w+|\W+', sentence)) 

Answer 2

import re 
split = re.findall(r"[\w']+|[.,!?;]", "How are you?") 
print(split) 

---

Выход:

['How', 'are', 'you', '?'] 

---

Ideone Demo

Regex101 Demo

---

Regex Объяснение:

"[\w']+|[.,!?;]" 

    1st Alternative: [\w']+ 
     [\w']+ match a single character present in the list below 
      Quantifier: + Between one and unlimited times, as many times as possible, giving back as needed [greedy] 
      \w match any word character [a-zA-Z0-9_] 
      ' the literal character ' 
    2nd Alternative: [.,!?;] 
     [.,!?;] match a single character present in the list below 
      .,!?; a single character in the list .,!?; literally