Выполнить пороговое значение в nltk.FreqDist

Question

Я хотел бы иметь мои самые популярные слова в моем FreqDist. Или слова, которые имеют freq> p.

Как это сделать?

После просмотра doc я ничего не нашел threshold или cut. Кроме того, функция freq() может быть вызвана только для каждого отдельного бина.

Конечно, я могу написать одноранговый код, как

[(x,f) for x in FreqDist.samples if FreqDist.freq(x) > p] 

, но это не выглядит элегантно.

Answer 1

В соответствии с docs Вы упоминали, FreqDist «ы Dict-подобные методы (keys(), items() и т.д.) Образцы возврата и/или их частоты, упорядоченные в порядке убывания частоты. Таким образом, вы можете использовать такой код, как показано ниже, чтобы отфильтровать только образцы с достаточно высокими частотами:

above_p = [] 
for (x, f) in FreqDist.iteritems(): 
    if not f > p: 
     break 
    above_p.append((x, f)) 

Или один-лайнер:

from itertools import takewhile 
above_p = [(x, f) for (x, f) in takewhile(lambda x, f: f > p, FreqDist.iteritems())] 

Что касается верхней к:

top_k = FreqDist.items()[:k] 

или:

from itertools import islice 
top_k = list(islice(FreqDist.iteritems(), k))