Stemming неструктурированный текст в NLTK

Question

Я пробовал стеймер регулярного выражения, но я получаю сотни не связанных между собой токенов. Меня просто интересует «игра». Вот код, с которым я работаю:

import nltk 
from nltk.book import * 
f = open('tupac_original.txt', 'rU') 
text = f.read() 
text1 = text.split() 
tup = nltk.Text(text1) 
lowtup = [w.lower() for w in tup if w.isalpha()] 
import sys, re 
tupclean = [w for w in lowtup if not w in nltk.corpus.stopwords.words('english')] 
from nltk import stem 
tupstem = stem.RegexpStemmer('az$|as$|a$') 
[tupstem.stem(i) for i in tupclean] 

Результат:

['like', 'ed', 'young', 'black', 'like'...] 

Я пытаюсь очистить .txt файлы (строчными буквами, удалить стоп-слова и т.д.), нормализуют несколько вариантов написания слова в один и сделать частоту Dist/кол. Я знаю, как сделать FreqDist, но какие-либо предложения относительно того, где я ошибаюсь, с тем, что происходит?

Answer 1

В NLTK имеется несколько предварительно закодированных штокмеров, см. http://nltk.org/api/nltk.stem.html и ниже приведен пример.

>>> from nltk import stem 
>>> porter = stem.porter.PorterStemmer() 
>>> lancaster = stem.lancaster.LancasterStemmer() 
>>> snowball = stem.snowball.EnglishStemmer() 
>>> tokens = ['player', 'playa', 'playas', 'pleyaz'] 
>>> [porter(i) for i in tokens] 
>>> [porter.stem(i) for i in tokens] 
['player', 'playa', 'playa', 'pleyaz'] 
>>> [lancaster.stem(i) for i in tokens] 
['play', 'play', 'playa', 'pleyaz'] 
>>> [snowball.stem(i) for i in tokens] 
[u'player', u'playa', u'playa', u'pleyaz'] 

Но то, что вы, вероятно, потребуется какая-то из регулярных выражений стеммер,

>>> from nltk import stem 
>>> rxstem = stem.RegexpStemmer('er$|a$|as$|az$') 
>>> [rxstem.stem(i) for i in tokens] 
['play', 'play', 'play', 'pley']