Быстрое совпадение строк в R

Question

Я пытаюсь выполнить сопоставление слов в большом наборе данных. Мне интересно, есть ли способ ускорить самую медленную операцию в моем рабочем процессе.

Что я намереваюсь сделать, так это найти расположение совпадений между словарем слов и списком векторов слов.

words <- c("cat", "dog", "snake", "cow") 
scores <- c(1.5, 0.7, 3.5, 4.6) 
dic <- data.frame(words, scores) 

wordList <- list(c("jiraffe", "dog"), c("cat", "elephant"), c("snake", "cow")) 

Самый быстрый способ я нашел до сих пор сделать это, делая это:

matches <- function(wordList) { 
    subD <- which(dic$words %in% wordList) 
} 

Мой желаемый результат:

matches(wordList): 
list(c(2), c(1), c(3, 4)) 

, который я могу позже использовать, чтобы получить средний балл за словоList ячейка по

averageScore <- sapply(matches, function(x) {mean(dic[x, "scores"]}) 

Есть ли более быстрый способ сделать согласование строк, чем то, что я делаю в функции:

subD <- which(dic$words %in% wordList) 

Я попытался dplyr путь, думая, что это может быть быстрее, используя первый «фильтр», чтобы получить подмножество «dic» и применяя на нем «colMeans», но, похоже, он в два раза медленнее.

Кроме того, запуск моей функции совпадений в цикле выполняется так же медленно, как использование «lapply» на нем.

Я что-то не хватает? Есть ли способ, который быстрее, чем оба?

Answer 1

Вот один вариант:

library(data.table) 
nn <- lengths(wordList) ## Or, for < R-3.2.0, `nn <- sapply(wordList, length)` 
dt <- data.table(grp=rep(seq_along(nn), times=nn), X = unlist(wordList), key="grp") 
dt[,Score:=scores[chmatch(X,words)]] 
dt[!is.na(Score), list(avgScore=mean(Score)), by="grp"] 
# grp avgScore 
# 1: 1  0.70 
# 2: 2  1.50 
# 3: 3  4.05