Рассчитайте сходство Jaccard между двумя словами в 2 векторах

Question

Мне нужно рассчитать сходство Jaccard между каждым словом в 2 вектора. Каждое слово по каждому слову. И извлечь наиболее похожее слово.

Вот мой плохой плохой медленный код:

txt1 <- c('The quick brown fox jumps over the lazy dog') 
txt2 <- c('Te quick foks jump ovar lazzy dogg') 

words <- strsplit(as.character(txt1), " ") 
words.p <- strsplit(as.character(txt2), " ") 

r <- length(words[[1]]) 
c <- length(words.p[[1]]) 

m <- matrix(nrow=r, ncol=c) 
for (i in 1:r){ 
    for (j in 1:c){ 
    m[i,j] = stringdist(tolower(words.p[[1]][j]), tolower(words[[1]][i]), method='jaccard', q=2) 
    } 
} 

ind <- which(m == min(m))-nrow(m) 
words[[1]][ind] 

Пожалуйста, помогите мне улучшить и украсить этот код для большого кадра данных.

Answer 1

Подготовка (добавлено tolower здесь):

txt1 <- c('The quick brown fox jumps over the lazy dog') 
txt2 <- c('Te quick foks jump ovar lazzy dogg') 

words <- unlist(strsplit(tolower(as.character(txt1)), " ")) 
words.p <- unlist(strsplit(tolower(as.character(txt2)), " ")) 

Получит расстояния для каждого слова:

dists <- sapply(words, Map, f=stringdist, list(words.p), method="jaccard") 

Для каждого слова в words найти ближайшее слово из words.p:

matches <- words.p[sapply(dists, which.min)] 

cbind(words, matches) 
       matches 
[1,] "the" "te" 
[2,] "quick" "quick" 
[3,] "brown" "ovar" 
[4,] "fox" "foks" 
[5,] "jumps" "jump" 
[6,] "over" "ovar" 
[7,] "the" "te" 
[8,] "lazy" "lazzy" 
[9,] "dog" "dogg" 

EDIT:

Чтобы получить лучшее соответствие пару слов, сначала нужно выбрать минимальное расстояние от каждого слова в words для всех слов в words.p:

mindists <- sapply(dists, min) 

Это позволит получить ваши лучшие возможные расстояния для каждого слова. Затем вы выбираете слово из words с минимальным расстоянием:

words[which.min(mindists)] 

Или в одной строке:

words[which.min(sapply(dists, min))]