2016-01-21 3 views
0

Когда я предоставляю текстовый документ в качестве входа в word2vec. Он привязывает векторы к нескольким словам из словаря текста. Почему это происходит? И как преодолеть эту проблему?word2vec дает векторы очень мало слов в тексте. Почему?

+0

Приветствуем вас, чтобы Stackoverflow. Трудно понять вашу проблему. Пожалуйста, уточните и покажите нам некоторые из вашего кода. См. Статью http://stackoverflow.com/help/how-to-ask. – Alexander

ответ

1

Я думаю, причина, по которой вы видите очень мало созданных векторов, заключается в том, что ваш корпус слишком мал. Word2vec удалит из словаря редко встречающиеся слова. Это управляется переключателем командной строки t-min-count. По умолчанию для исходного исходного кода установлено значение 5. Любые слова, которые происходят меньше, чем это много раз в вашем корпусе, будут удалены.

Смежные вопросы