Понимание ошибок лёсса в R

Question

Я пытаюсь подгонять модель с помощью лёсса, и я получаю такие ошибки, как «псевдоинверсия, используемая в 3», «радиус окрестности 1» и «число обратных условий 0». Вот MWE:

x = 1:19 
y = c(NA,71.5,53.1,53.9,55.9,54.9,60.5,NA,NA,NA 
     ,NA,NA,178.0,180.9,180.9,NA,NA,192.5,194.7) 
fit = loess(formula = y ~ x, 
     control = loess.control(surface = "direct"), 
     span = 0.3, degree = 1) 
x2 = seq(0,20,.1) 
library(ggplot2) 
qplot(x=x2 
    ,y=predict(fit, newdata=data.frame(x=x2)) 
    ,geom="line") 

Я понимаю, что могу исправить эти ошибки, выбирая большее значение диапазона. Тем не менее, я пытаюсь автоматизировать эту подгонку, так как у меня около 100 000 временных рядов (каждая из них около 20), подобных этому. Есть ли способ, который я могу автоматически выбрать значение диапазона, которое предотвратит эти ошибки, сохраняя при этом достаточно гибкое соответствие данным? Или может кто-нибудь объяснить, что означают эти ошибки? Я немного задумался в функциях loess() и simpleLoess(), но я отказался от того, когда был вызван код C.

Answer 1

Сравнить fit$fitted до y. Вы заметите, что что-то не так с вашим регрессом. Выберите подходящую полосу пропускания, иначе она просто будет интерполировать данные. При слишком малом количестве данных линейная функция ведет себя как константа на малой ширине полосы и вызывает коллинеарность. Таким образом, вы видите ошибки, предупреждающие псевдоинверсы, особенности. Вы не увидите таких ошибок, если используете degree=0 или ksmooth. Один понятный, основанный на данных выбор span предназначен для перекрестной проверки, о котором вы можете задать по телефону Cross Validated.

> fit$fitted 
[1] 71.5 53.1 53.9 55.9 54.9 60.5 178.0 180.9 180.9 192.5 194.7 
> y 
[1] NA 71.5 53.1 53.9 55.9 54.9 60.5 NA NA NA NA NA 178.0 
[14] 180.9 180.9 NA NA 192.5 194.7 

Вы видите над-запрессовки (идеально-FIT), потому что в вашем модельном ряду параметров столько, сколько эффективного размера выборки.

fit 
#Call: 
#loess(formula = y ~ x, span = 0.3, degree = 1, control = loess.control(surface = "direct")) 

#Number of Observations: 11 
#Equivalent Number of Parameters: 11 
#Residual Standard Error: Inf 

Или, вы можете также просто использовать автоматизированные geom_smooth. (Опять-таки установка geom_smooth(span=0.3) бросков предупреждений)

ggplot(data=data.frame(x, y), aes(x, y)) + 
    geom_point() + geom_smooth()