Как настроить внешние и векторизовать функции?

Question

Я задал подобный вопрос месяц назад. Обратитесь к Count the occurrences of unequal numbers from a data frame

Я решил эту проблему с помощью outer и Vectorize функций. Мое решение таково:

dist_mat<- outer(1:nrow(df),1:nrow(df), 
       FUN = Vectorize(function(i,j) sum(df[i,]!=df[j,]))) 

Это работает отлично, но теперь у меня есть огромная матрица, которая превышает мой размер памяти.

После получения dist_mat для каждой строки я подсчитываю количество столбцов меньше или равно двум, что я не могу сделать сейчас. Поэтому мне интересно, могу ли я объединить операцию подсчета во внешней функции, чтобы избежать проблемы с памятью. Мой результат будет только вектором.

Спасибо заранее!

Answer 1

Хотя это не строго ответить на ваш вопрос, вы, вероятно, следует избегать outer и использовать что-то вроде:

tot.rows <- nrow(df) 
res <- numeric(tot.rows) 
for(i in 1:tot.rows) 
    for(j in 1:tot.rows) 
    res[[i]] <- res[[i]] + (sum(df[i,] != df[j,]) <= 2) 

outer будет предварительно выделить i * j матрицу с самого начала идти, так что вы собираетесь с трудом справляются с проблемой при использовании внешнего. Если ваш результат на самом деле является вектором такой же длины, как и фрейм данных, то вам не нужно outer, который производит матрицу размеров nrow(df) * nrow(df) в вашем приложении.

Вышеупомянутый алгоритм будет работать с таким же количеством вычислений, как outer, но повторно использует то же пространство памяти для каждой строки, поскольку все, о чем вы заботитесь, - это окончательные подсчеты, поэтому он должен вписываться в память. Он также должен быть сопоставимой скорости, такой как внешний (для примера с игрушкой я тестировал его). Векторизованные операции велики, пока вам действительно нужно вычислять на каждое значение и иметь память для работы с полными расширениями, например outer, но они не обязательно являются ответом на все.

Как указывалось в предыдущем ответе, вы можете изменить код, чтобы вы не вычисляли диагонали или один из треугольников матрицы, учитывая, что ваш расчет расстояний является симметричным, что должно примерно вдвое сократить время вычисления.

Answer 2

Если у вас есть матрица DF затем

apply(DF, 2, function(y) sum(colSums(DF==y) < 2)) 

может работать? DF==y сравнивает каждый столбец с целевым столбцом от apply, colSums, затем выясняет, сколько строк в этой паре столбцов равно, и мы сравниваем это с 2 (целевой столбец всегда сравнивается с собой как часть DF = = y, поэтому я учитывал это, возможно, вам придется поиграть с этим, в зависимости от того, включал ли ваш порог «2» самоанализ). И тогда окончательный sum подсчитывает количество столбцов, удовлетворяющих порогу < 2.

Это полностью переупорядоченный код, исходя из предположения, что вам не нужна промежуточная матрица расстояния.