Ошибка в simple_triplet_matrix - не в состоянии использовать RWeka считать фразы

Question

Использование TM, я сравнивая DocumentTermMatrix против словаря списка для подсчета суммы:

totals <- inspect(DocumentTermMatrix(x, list(dictionary = d))) 

Это прекрасно работает для отдельных слов, но я хочу включают двойные слова и не могут понять, как это сделать.

Я попытался RWeka:

TrigramTokenizer <- function(x) NGramTokenizer(x, 
               Weka_control(min = 3, max = 3)) 
tdm <- TermDocumentMatrix(v.corpus, 
          control = list(tokenize = TrigramTokenizer)) 

но получить следующее сообщение об ошибке:

Error in simple_triplet_matrix(i = i, j = j, v = as.numeric(v), nrow = length(allTerms), : 
    'i, j, v' different lengths 
In addition: Warning messages: 
1: In parallel::mclapply(x, termFreq, control) : 
    all scheduled cores encountered errors in user code 
2: In is.na(x) : is.na() applied to non-(list or vector) of type 'NULL' 
3: In simple_triplet_matrix(i = i, j = j, v = as.numeric(v), nrow = length(allTerms), : 
    NAs introduced by coercion. 

Можете ли вы помочь с сообщением об ошибке?

Спасибо!

Answer 1

Смотрите мой ответ here

Кажется есть проблемы с использованием RWeka с параллельного пакета. Я нашел обходной путь решения here.

1: http://r.789695.n4.nabble.com/RWeka-and-multicore-package-td4678473.html#a4678948

Наиболее важным моментом является не нагружает пакет RWeka и использовать пространство имен в инкапсулированных функции.

Так что ваш токенизатор должен выглядеть

BigramTokenizer <- function(x) {RWeka::NGramTokenizer(x, RWeka::Weka_control(min = 2, max = 2))}