Кривые overfitting и ROC

Question

Можно ли понять, переопределен ли классификатор, только взглянув на его кривую ROC? Я вижу, что если его AUC слишком высока (например, 98%), вероятно, будет переделана, но это также может означать, что классификатор просто хорош. Есть ли способ рассказать обо всех этих случаях?

Answer 1

Короткий ответ: нет, вы не можете.

Долгий ответ: для оценки переобучения вам необходимо оценить свою модель на независимом наборе данных. Или используйте кросс-валидацию или что-то подобное.