Эффективный способ получить сильно коррелированные пары из большого набора данных в Python или R

Question

У меня есть большой набор данных (скажем, 10 000 переменных с примерно 1000 элементами каждый), мы можем рассматривать его как 2D-список, например:

[[variable_1], 
[variable_2], 
............ 
[variable_n] 
] 

Я хочу извлечь высококоррелированные пары переменных из этих данных. Я хочу, чтобы «сильно коррелированный» был параметром, который я могу выбрать.

Мне не нужны все пары, которые нужно извлечь, и мне не обязательно нужны наиболее коррелированные пары. Пока есть эффективный метод, который дает мне сильно коррелированные пары, я доволен.

Также было бы неплохо, если бы переменная не отображалась более чем в одной паре. Хотя это может быть не очень важно.

Конечно, есть способ грубой силы найти такие пары, но для меня это слишком медленно.

Я немного искал язык и нашел теоретическую работу по этой проблеме, но мне не удалось найти пакет, который мог бы делать то, что я ищу. Я в основном работаю на python, поэтому пакет в python будет наиболее полезен, но если в R есть пакет, который делает то, что я ищу, это будет здорово.

Кто-нибудь знает о пакете, который делает выше в Python или R? Или любые другие идеи?

Спасибо заранее

Answer 1

10000 на 1000 не походит на большую часть вопроса размера. Выезд pandas

Answer 2

Вы не сказали нам, как быстро вам нужно быть быстрым, поэтому вот наивное решение.

Просто вычислить корреляционную матрицу, а затем использовать which, чтобы получить индексы пара вы после:

x <- matrix(rnorm(10000*1000), ncol = 10000) 
corm <- cor(x) 
out <- which(abs(corm) > 0.80, arr.ind=TRUE) 

Вы можете использовать Подмените, чтобы избавиться от диагональных и резервированных пар:

out[out[,1] > out[,2]] 

Вычисление корреляционной матрицы занимает около 75 секунд на моей машине, часть which() занимает около 3 секунд ... Подмножество избыточности занимает около 1,2 секунды. Это слишком медленно?