как разбить текстовый файл на несколько списков на основе whitespacing в python?

Question

привет, я новичок в программировании на python, помогите мне создать функцию, которая была взята в текстовом файле в качестве аргумента, и создает список слов, тем самым удаляя все знаки препинания, а список «разбивается» на двойное пространство. Я хочу сказать, что список должен создавать сущности для каждого двойного пробела в текстовом файле.

Это моя функция:

def tokenize(document): 
    file = open("document.txt","r+").read() 
    print re.findall(r'\w+', file) 

Входной текстовый файл имеет строку следующим образом:

What's did the little boy tell the game warden?  His dad was in the kitchen poaching eggs! 

Примечание: Там два интервала после надзирателя? и перед Его

Моя функция дает мне выход, как этот

['what','s','did','the','little','boy','tell','the','game','warden','His','dad','was','in','the','kitchen','poaching','eggs'] 

Желаемая выход:

[['what','s','did','the','little','boy','tell','the','game','warden'], 
['His','dad','was','in','the','kitchen','poaching','eggs']] 

Answer 1

В первый расколоть файл по пунктуации, а затем на втором проходе разделить приведенные строки по пространствам.

def splitByPunct(s): 
    return (x.group(0) for x in re.finditer(r'[^\.\,\?\!]+', s) if x and x.group(0)) 

[x.split() for x in splitByPunct("some string, another string! The phrase")] 

это дает

[['some', 'string'], ['another', 'string'], ['The', 'phrase']] 

Answer 2

Первый split весь текст на двойных пространств и затем пройти каждый элемент в regex как:

>>> file = "What's did the little boy tell the game warden? His dad was in the kitchen poaching eggs!" 
>>> file = text.split(' ') 
>>> file 
["What's did the little boy tell the game warden?", 'His dad was in the kitchen poaching eggs!'] 
>>> res = [] 
>>> for sen in file: 
... res.append(re.findall(r'\w+', sen)) 
... 
>>> res 
[['What', 's', 'did', 'the', 'little', 'boy', 'tell', 'the', 'game', 'warden'], ['His', 'dad', 'was', 'in', 'the', 'kitchen', 'poaching', 'eggs']] 

Answer 3

Вот разумный подход все-Ре:

def tokenize(document): 
    with open("document.txt") as f: 
     text = f.read() 
    blocks = re.split(r'\s\s+', text) 
    return [re.findall(r'\w+', b) for b in blocks] 

Answer 4

Встроенная функция разделения позволяет разбивать на несколько пространств.

Это:

a = "hello world. How are you" 
b = a.split(' ') 
c = [ x.split(' ') for x in b ] 

Урожайность:

c = [['hello', 'world.'], ['how', 'are', 'you?']] 

Если вы хотите, чтобы удалить знаки препинания тоже применить регулярное выражение к элементам «Б» или «х» в третьем сообщении.