Python Top Bigrams

Question

import nltk 
from nltk.collocations import * 

tokens = ['a','b','c','d','b','c','a','b','c'] 
tokens2 = [['a','b','c','d'],['b','c','a','b','c']] 
bigrams = nltk.bigrams(tokens) 

fdist = nltk.FreqDist(bigrams) 
for i,j in fdist.items(): 
    print i,j`` 

print fdist.most_common(2) 

Код выше работает для ввода как токенов, но он выдает ошибку, когда я использую токены2. В конце концов, я должен вернуть ему 2 лучших биграма, когда ему дается набор токенов. Помощь будет высоко оценена.

Answer 1

Если у вас есть список списков лексем (как token2),

import collections 
cnt = collections.Counter() 

for toks in token2: 
    cnt.update(nltk.bigrams(toks)) 

print(cnt.most_common(2)) 

будет работать. Если то, что у вас есть, совершенно иное, например, один список, например tokens, или set, вы можете упомянуть, все может измениться - но мы не можем читать ваши мысли, поэтому вам лучше отредактировать свой Q, чтобы объяснить точно, что вы после!