Как создать собственный список слов остановки?

Question

Мне нравится создавать список слов остановки для неанглоязычного языка. Какие показатели лучше всего подходят для создания списка стоп-слов: только временная частота для всей коллекции документов или показателей tf-idf?

Answer 1

Вы можете использовать R, как это:

my.list <- unlist(read.table("C:/Users/blabla/Desktop/files/yourstopword.txt", 
          stringsAsFactors=FALSE)) 
my.stops <- c(my.list) 
mycorpus <- tm_map(myCorpus, removeWords, my.stops)