Почему NLTK Text.similar() возвращает None?

Question

Прямо сейчас я использую метод like() из nltk. Но он работает не так, как ожидалось. См. Ниже код:

from nltk import word_tokenize; 
import nltk; 
text = """ 
The girl is very pretty. 
"""; 
text = nltk.Text(word_tokenize(text)); 
text.similar('beautiful'); #it returns "no matches" but pretty is synonym of beautiful. 

Я использую неправильный подход? Или есть другой? Пожалуйста, помогите мне.

Answer 1

NLTK Text класс 'similar() способ использует Distributional Similarity.

help() по методе состояний:

similar(word, num=20) method of nltk.text.Text instance 
    Distributional similarity: find other words which appear in the 
    same contexts as the specified word; list most similar words first. 

Глядя in the source code, similar() использует создание экземпляр класса ContextIndex найти слова с похожими семантическими окнами. По умолчанию он использует окно с символом +/- 1.

Если мы расширим ваш пример дополнительными словами, чтобы дать похожие семантические окна для «красивого» и «красивого», мы получим результат, который вы ищете.

from nltk import word_tokenize 
import nltk 
text = "The girl is pretty isn't she? The girl is beautiful isn't she?" 
text = nltk.Text(word_tokenize(text)) 
text.similar('pretty') 
# prints beautiful 

Поэтому, кажется, вам нужно иметь больше контекста в тексте, чтобы дать осмысленные результаты.