Как удалить выбросы из набора данных

Question

У меня есть многомерные данные о красоте и возрасте. Возраст варьируется от 20-40 с интервалом в 2 (20, 22, 24 .... 40), и для каждой записи данных им предоставляется возраст и рейтинг красоты от 1 до 5. Когда я делаю ящики из этих данных (возрасты по оси X, оценки красоты по оси Y), есть некоторые выбросы, построенные за пределами усов каждой коробки.

Я хочу удалить эти выбросы из самого фрейма данных, но я не уверен, как R вычисляет выбросы для его ящиков. Ниже приведен пример того, как могут выглядеть мои данные.

Answer 1

ОК, вы должны применить что-то подобное к вашему набору данных. Не заменяйте & или сохраните данные! И, кстати, вы не должны (почти) никогда не удалить выпадающих из ваших данных:

remove_outliers <- function(x, na.rm = TRUE, ...) { 
    qnt <- quantile(x, probs=c(.25, .75), na.rm = na.rm, ...) 
    H <- 1.5 * IQR(x, na.rm = na.rm) 
    y <- x 
    y[x < (qnt[1] - H)] <- NA 
    y[x > (qnt[2] + H)] <- NA 
    y 
} 

Чтобы увидеть его в действии:

set.seed(1) 
x <- rnorm(100) 
x <- c(-10, x, 10) 
y <- remove_outliers(x) 
## png() 
par(mfrow = c(1, 2)) 
boxplot(x) 
boxplot(y) 
## dev.off() 

И еще раз, вы никогда не должны делать это самостоятельно, выбросы просто должны быть! =)

EDIT: Я добавил na.rm = TRUE по умолчанию.

EDIT2: Убрано quantile функция, добавлена ​​подписка, следовательно, функция была быстрее! =)

Answer 2

Используйте outline = FALSE в качестве опции, когда вы делаете коробку (прочитайте справку!).

> m <- c(rnorm(10),5,10) 
> bp <- boxplot(m, outline = FALSE) 

Answer 3

Функция boxplot возвращает значения, используемые для выполнения заговоров (который на самом деле то, проделанные BXP():

bstats <- boxplot(count ~ spray, data = InsectSprays, col = "lightgray") 
#need to "waste" this plot 
bstats$out <- NULL 
bstats$group <- NULL 
bxp(bstats) # this will plot without any outlier points 

Я нарочно не ответил на конкретный вопрос, потому что Я считаю, что статистическая халатность устраняет «выбросы». Я считаю приемлемой практикой не строить их в ящике, но их удаление является систематическим и необоснованным искажением наблюдательной записи.

Answer 4

никто не отвечал простейший ответ:

x[!x %in% boxplot.stats(x)$out] 

см Также в этом: http://www.r-statistics.com/2011/01/how-to-label-all-the-outliers-in-a-boxplot/

Answer 5

Добавление к предложению @sefarkas' и используя квантиль в качестве отсекателей, можно изучить следующий вариант:

newdata <- subset(mydata,!(mydata$var > quantile(mydata$var, probs=c(.01, .99))[2] | mydata$var < quantile(mydata$var, probs=c(.01, .91))[1])) 

Это позволит удалить точки за пределами 99-го квантиля. Следует проявлять осторожность, как то, что aL3Xa говорил о сохранении выбросов. Его следует удалять только для получения альтернативного консервативного представления данных.

Answer 6

Не был бы:

z <- df[df$x > quantile(df$x, .25) - 1.5*IQR(df$x) & 
     df$x < quantile(df$x, .75) + 1.5*IQR(df$x)] 

выполнить эту задачу довольно легко?

Answer 7

x<-quantile(retentiondata$sum_dec_incr,c(0.01,0.99)) 
data_clean <- data[data$attribute >=x[1] & data$attribute<=x[2],] 

Мне очень легко удалить выбросы. В приведенном выше примере я просто извлекаю 2 процентиля до 98 процентилей значений атрибутов.

Answer 8

Я посмотрел на пакеты, связанные с удалением выбросов, и нашел этот пакет (удивительно называемого «выпадающие»!): https://cran.r-project.org/web/packages/outliers/outliers.pdf
если вы идете через нее вы видите различные способы удаления выбросов и среди них я нашел rm.outlier наиболее удобный для использования и, как говорится в ссылке выше: «Если обнаружение и обнаружение outli статистическими тестами, эта функция может удалить его или заменить на образец среднего или медианного», а также здесь используется часть из того же источник:
"Использование

rm.outlier(x, fill = FALSE, median = FALSE, opposite = FALSE) 

Аргументы
х набора данных, чаще всего вектор. Если аргумент является фреймворком данных, то outlier - , удаленный из каждого столбца с помощью sapply. Такое же поведение применяется при применении при задании матрицы.
fill Если установлено значение TRUE, вместо outlier помещается медиана или среднее значение. В противном случае удаляются (удаляются) объекты .
медиана Если установлено значение ИСТИНА, вместо замены используется срединная замена. напротив, если установлено значение TRUE, дает противоположное значение (если наибольшее значение имеет максимальную разность от среднего значения, это дает маленький и наоборот) "