Устранение выбросов/наилучшим образом подходит для «колючих» данных в Python

Question

Довольно новый для обработки данных, подобных этому; У меня две кривые, что я не уверен, как обрабатывать, но я знаю, что я хотел бы иметь в качестве результата. Исходные графики двух наборов данных показаны ниже (слева); грубая подгонка, которую, как мне кажется, я хотел бы иметь для них, показана ниже (справа) с наложенной посадкой в ​​красный цвет.

Первый пример: Внезапные падения амплитуды являются артефактом о том, как были сделаны данные. Это означает, что он по своей сути непредсказуем, и я бы идеально хотел бы найти метод, который был бы устойчив к такому поведению.

В первом случае, я мог бы попытаться устранить резкое падение амплитуды, используя порог, но это не помогло бы мне во втором случае: , , где я до сих пор получить сильное колебание, но минимумы не более 0.

Редактировать: После написания короткого сценария для использования предложения @JamesPhillips, результаты подгонки показаны ниже; может подтвердить, что это то, что я искал, и работает лучше/быстрее, чем другие алгоритмы подгонки.

и

Answer 1

Возможным algothm: фильтровать что-то данных, как это ...

Начать с наименьшим X-значной точки, показанной на графике, итерация от наименьшего значения X до наибольшего значения X. Для каждой точки:

1) Если значение Y следующей точки больше или равно значению Y этой точки, включите его.

2) Если значение следующей точки меньше, чем [отсечка] процентов от значения этой точки Y, исключите ее.

3) Переход к следующей точке.

Запустите фильтр и проверьте различные значения [cutoff], каждый раз, когда вы рисуете результат, чтобы увидеть, соответствует ли значение [cutoff] вашим требованиям. Вам может потребоваться дополнительное условие фильтра или два, но это должно быть хорошим началом для фильтрации данных по мере их описания.