Преобразование большого CSV DTM в tm пакет DTM

Question

У меня есть большой файл csv (3.8 Gb) с данными в формате столбца (термин), строки (документа). Я хотел бы преобразовать это в dtm из пакета tm.

Я пропустил шаг read.csv, но вы поняли эту идею.

dtm <- structure(list(the = c(2L, 1L), apple = c(0L, 2L), dumb = c(1L, 0L)), .Names = c("the", "apple", "dumb"), class = "data.frame", row.names = c(NA, -2L)) 

я тогда не знаю, как преобразовать это формальный тм пакет ЦМР:

c <- Corpus(DataframeSource(dtm)) 

Это неправильно, это очевидно.

Спасибо за любое направление.

Answer 1

Это будет делать это:

tmDTM <- tm::as.DocumentTermMatrix(slam::as.simple_triplet_matrix(dtm), 
            weighting = tm::weightTf) 

Пакет quanteda имеет некоторые интересные реализации на этой функции, а также.