Не удается заставить Counter() работать в python

Question

Я пытаюсь сделать счетчик, который использует список триграмм POS, чтобы проверить большой список триграмм и найти их частоту. Мой код до сих пор выглядит следующим образом:

from nltk import trigrams 
from nltk.tokenize import wordpunct_tokenize 
from nltk import bigrams 
from collections import Counter 
import nltk 
text= ["This is an example sentence."] 
trigram_top= ['PRP', 'MD', 'VB'] 

    for words in text: 
     tokens = wordpunct_tokenize (words) 
     tags = nltk.pos_tag (tokens) 
     trigram_list=trigrams(tags) 
     list_tri=Counter (t for t in trigram_list if t in trigram_top) 
     print list_tri 

я получаю пустой счетчик обратно. Как мне исправить это? В более ранней версии я получил данные назад, но продолжал подсчитывать навсегда итерацию (в реальной программе текст представляет собой набор разных файлов). У кого-нибудь есть идея?

Answer 1

Давайте поставить некоторые print там отлаживать:

from nltk import trigrams 
from nltk.tokenize import wordpunct_tokenize 
from nltk import bigrams 
from collections import Counter 
import nltk 
text= ["This is an example sentence."] 
trigram_top= ['PRP', 'MD', 'VB'] 

for words in text: 
    tokens = wordpunct_tokenize (words) 
    print tokens 
    tags = nltk.pos_tag (tokens) 
    print tags 
    list_tri=Counter (t[0] for t in tags if t[1] in trigram_top) 
    print list_tri 

#['This', 'is', 'an', 'example', 'sentence', '.'] 
#[('This', 'DT'), ('is', 'VBZ'), ('an', 'DT'), ('example', 'NN'), ('sentence', 'NN'), ('.', '.')] 
#Counter() 

Обратите внимание, что list= часть была избыточной, и я изменил генератор просто взять слово вместо поз тег

Мы можем что ни один из меток pos напрямую не соответствует вашему методу trigram_top - вы можете изменить свою проверку сравнения для обслуживания VB/VBZ ...

Возможность изменить линию:

list_tri=Counter (t[0] for t in tags if t[1].startswith(tuple(trigram_top))) 
# Counter({'is': 1})