Как вычислить матрицу ковариации в блоках?

Question

Существует функция построения Matlab "cov" для вычисления матрицы ковариации заданной матрицы C. Если C слишком большой, например 1000*60000 double, и на моем компьютере недостаточно ОЗУ, необходимо написать функцию для вычисления матрицы ковариации заданной матрицы C в блоках или кусках. Мой вопрос заключается в том, как вычислить ковариационную матрицу в блоках/кусках? Предположим, что размер данной матрицы равен 1000*60000 double, с которой мой компьютер не может обрабатывать с помощью функции "cov".

Answer 1

Предполагая, что вы имеете в виду у вас есть 60000 наблюдение 1000 переменных, то вы можете просто вычислить матрицу covaraince на куски, а затем объединить их, как вы идете:

1. Partition свои наблюдения на куски размером N. (N должен быть определенно, чтобы вписываться в оперативной памяти)
2. Compute ковариация для куска
-ro
3. Объединить кусок N-го с общей ковариацией для предыдущих N-1 кусков

Here - это обсуждение того, как вы комбинируете матрицы ковариации. В основном, вы хотите отслеживать как ковариации, так и средства кусков при их обработке, а затем объединять, используя свой квадрат квадратного квадрата минус средства представления, указанного в первом свойстве ковариаций, перечисленных here.