Извлечение определенного типа строки из текстового файла с помощью nltk

Question

Я хочу извлечь все типы рыб на странице wikipedia и распечатать эти рыбы (я скопировал содержимое в текстовый файл). Я использовал поз тег, а затем используется для извлечения Chunker типы рыб .Но мой вывод содержит ненужные данные, вот код, я реализован

import nltk 
from nltk.corpus import stopwords 
from nltk.chunk.regexp import RegexpParser 
#opening the file and reading 
fp = open('C:\\Temp\\fishdata.txt','r') 
text = fp.read() 
lemmatizer = nltk.WordNetLemmatizer() 
stemmer = nltk.stem.porter.PorterStemmer() 
sentence_re = r'''(?x)  # set flag to allow verbose regexps 
     ([A-Z])(\.[A-Z])+\.? # abbreviations, e.g. U.S.A. 
    | \w+(-\w+)*   # words with optional internal hyphens 
    | \$?\d+(\.\d+)?%?  # currency and percentages, e.g. $12.40, 82% 
    | \.\.\.    # ellipsis 
    | [][.,;"'?():-_`]  # these are separate tokens 
''' 
chunker = RegexpParser(r''' 
NP: 
{<NNP><'fish'>} 

''') 
stpwords = stopwords.words('english') 
lemmatizer = nltk.WordNetLemmatizer() 
stemmer = nltk.stem.porter.PorterStemmer() 
toks = nltk.regexp_tokenize(text, sentence_re) 
postoks = nltk.tag.pos_tag(toks) 
sent=chunker.parse(postoks) 
print sent 

Выход я получил

wikipedia 
armored 
fish 
ray-finned 
fish 
jelly 
fish 
constucutive 
then 
oragn 

Выход требуется

armored 
fish 
jelly 
fish 
bony 
fish 

Выше была только небольшая часть выхода, но мне нужно то, что требуется на 2-м выходе Вход на страницу википедии - http://en.wikipedia.org/wiki/Fish, которую я коп в текстовый файл.

Answer 1

from nltk.corpus import wordnet as wn 
fish_words = set() 
fish_types = set() 
for i in wn.all_synsets(): 
    # if 'fish' exist in a word. 
    x = [j for j in i.lemma_names if "fish" in j] 
    fish_words.update(x) 
    # if a word ends with 'fish' 
    y = [j for j in i.lemma_names if "fish" in j[-4:]] 
    fish_types.update(y) 

print fish_types 
print [i.replace("_"," ")[:-4].strip() for i in fish_types] 

Я не уверен, какой из рыбы, которую вы ищете, но эти методы должны дать вам всю рыбу, вам нужно, пока вы зависите от WordNetLemmatizer.