Множественная линейная регрессия

Question

Я пытаюсь использовать GLSMultipleLinearRegression (из пакета apache commons-math) для множественной линейной регрессии. Ожидается, что ковариационная матрица будет входной - я не уверен, как их вычислить. У меня есть один массив зависимых переменных и 3 массива независимых переменных.
Любая идея, как вычислить матрицу ковариации?

Примечание: У меня есть 200 пунктов для каждой из 3-х независимых переменных

Благодарности
Bharani

Answer 1

Если вы не знаете ковариации между ошибками, вы можете использовать итеративный подход. Сначала вы должны использовать обычные минимальные квадраты, вычислять ошибки и ковариации между ошибками. Затем вы применяете GLS с использованием рассчитанной матрицы ковариации и переоцениваете матрицу ковариации. Вы продолжите итерацию с использованием GLS с новой матрицей ковариации, пока не получите конвергенцию. Here is a link (.pdf предупреждение) на пример этого метода, а также связанное обсуждение взвешенных и итерационно взвешенных наименьших квадратов, где у вас нет корреляции между ошибками, принятыми в GLS.

Answer 2

Вы пытались создать Covariance matrix directly from your data?

new Covariance().computeCovarianceMatrix(data) 

Используя информацию в комментарии, мы знаем, что существует 3 независимых, 1 зависимых переменных и 200 выборок. Это означает, что у вас будет массив данных с 4 столбцами и 200 строками. Конечный результат будет выглядеть примерно так (печатая все в явном виде для того, чтобы попытаться объяснить, что я имею в виду):

double [] data = new double [4][]; 
data[0] = new double[]{y[0], x[0][0], x[1][0], x[2][0]}; 
data[1] = new double[]{y[1], x[0][1], x[1][1], x[2][1]}; 
data[2] = new double[]{y[2], x[0][2], x[1][2], x[2][2]}; 
// ... etc. 
data[199] = new double[]{y[199], x[0][199], x[1][199], x[2][199]}; 
Covariance covariance = new Covariance().computeCovarianceMatrix(data); 
double [][] omega = covariance.getCovarianceMatrix().getData(); 

Затем when you're doing your actual regression, у вас есть ковариационная матрица:

MultipleLinearRegression regression = new GLSMultipleLinearRegression(); 
// Assumes you put your independent variables in x and dependent in y 
// Also assumes that you made your covariance matrix as shown above 
regression.addData(y, x, omega); // we do need covariance 

Answer 3

Если вы не имеют представления о ковариации между ошибками, я бы использовал обычные минимальные квадраты (OLS) вместо обобщенных наименьших квадратов (GLS). Это сводится к тому, что матрица идентичности является ковариационной матрицей. По-видимому, библиотека реализует OLS в OLSMultipleLinearRegression.

Answer 4

Только что наткнулся на Flanagan библиотека, которая делает это из коробки. Также получил почту из списка Обще пользователя, Обще математика в момент does not support FGLS - автоматическая оценка ковариационной матрицы

-Bharani

Answer 5

@Mark Лавин

Вы бы первым использовать метод наименьших квадратов , вычисление погрешностей и Ковариации между ошибками

Im немного запутано. Поскольку у нас есть только одна переменная ответа , остаточные ошибки должны быть 1 размерной переменной. Тогда где же вписывается ковариационная матрица ошибок?

Answer 6

Вам необходимо организовать 3 случайных независимых вариатора в качестве векторов столбцов в матрице: x1, x2, x3 (N), где каждая строка является наблюдением (M). Это будет матрица MxN.

Вы затем подключите эту матрицу данных к ковариационной процедуре, предоставляемой Apache, например: Covariance.computeCovarianceMatrix (матрица RealMatrix).