В настоящее время я работаю над заданием, где мне нужно найти Outliers & заменить их средними/средними для предыдущих 2 и следующих 2 значений в столбце.
У меня есть это ниже 2 столбцов в качестве кадра данных.
Примеры данных приведены ниже.
Поиск Outliers и замена на Среднее значение в Apache Spark
Пожалуйста, дайте мне знать, как достичь этого, используя фреймы данных. Любые предложения были бы полезны. Спасибо.
Выполняется ли она с некоторой группировкой? Как вы определяете порядок? Какой язык вы используете? – zero323
Да, это правильно, с Группировкой CustomerID. Я использую Scala – Kazhiyur
Как насчет заказа? И вы хотите использовать стандартное отклонение данных и стандартное отклонение или для каждого клиента? – zero323