Текстовая обработка с использованием R: использование sub

Question

Я нахожусь в проекте с R, и я начинаю с него грязными руками.

В первой части я пытаюсь очистить данные от векторных сообщений. Но позже, когда я создаю termdocumentmatrix, эти символы все еще появляются. Я хотел бы удалить слова с менее 4 букв и удалить знаки препинания

gsub("\\b\\w{1,4}\\b ", " ", pclbyshares$msg) 
gsub("[[:punct:]]", "", pclbyshares$msg) 
corpus <- Corpus(VectorSource(pclbyshares$msg)) 
TermDocumentMatrix(corpus) 
tdm <- TermDocumentMatrix(corpus) 
findFreqTerms(tdm, lowfreq=120, highfreq=Inf) 

Answer 1

Вы еще не сохранили свои первые две строки кода, как переменные для использования в дальнейшем. Итак, в вашей третьей строке, где вы создаете свою переменную corpus, вы используете немодифицированные данные msg. Дайте это попробовать:

msg_clean <- gsub("\\b\\w{1,4}\\b ", " ", pclbyshares$msg) 
msg_clean <- gsub("[[:punct:]]", "", msg_clean) 
corpus <- Corpus(VectorSource(msg_clean)) 
TermDocumentMatrix(corpus) 
tdm <- TermDocumentMatrix(corpus) 
findFreqTerms(tdm, lowfreq = 120, highfreq = Inf)