Как вы оцениваете модель ML, уже развернутую на производстве?

Question

поэтому, чтобы быть более понятным, рассмотрим проблему прогноза по кредиту по умолчанию. Предположим, что я подготовил и протестировал автономные множественные классификаторы и собрал их. Затем я дал эту модель производству.

Но поскольку люди меняются, данные и многие другие факторы также меняются. И производительность нашей модели в конечном итоге уменьшится. Поэтому его нужно заменить новой, лучшей моделью.

Каковы общие методы, тесты стабильности модели, тесты производительности модели, показатели после развертывания? Как решить, когда заменить текущую модель на более новую?

Answer 1

Это зависит от проблемы (классификации, регрессии или кластеризации), скажем, у вас есть проблема классификации, и вы изучили и испытали модель с 75% точности (или другой метрики), когда-то в производстве, если точность Значительно менее 75%, чем вы можете остановить свою модель и посмотреть, что происходит.

В моем случае я отмечаю точность модели один раз в производстве каждый день в течение недели, после чего я считаю среднее значение и дисперсию точности, и я применяю Т-тест среднего значения, чтобы убедиться, что эта точность Значительно отличается от желаемой точности.

Надеюсь, что поможет