Какое усреднение AUC-ROC/AUC-PR на scikit-learn обычно используется на бумагах при сравнении классификаторов

Question

Я прочитал много статей с классификационным фокусом, и большинство из них сказали, что использование AUC-PR лучше при работе с несбалансированной проблемой .. такие как это цитаты из here:

большого изменения числа числа ложных срабатываний может привести к небольшому изменению ложных срабатываний, используемым в анализе ROC. Точность, с другой стороны, путем сравнения ложных срабатываний с истинными позитивами, а не с истинными негативами, отражает влияние большого числа отрицательных примеров на производительность алгоритма.

Тем не менее, я не уверен, какое усреднение в scikit-learn представляет собой расчет использования такой бумаги .. это макрос усреднения или взвешенный?

Answer 1

Это хороший вопрос. Для двоичной проблемы проблема дисбаланса класса не влияет на ваш показатель AUC (именно поэтому AUC часто является предпочтительной метрикой).

Для многоклассовой настройки это, однако, должно быть четко указано в документе, какую метрику они используют. Реализация по умолчанию в scikit-learn - макрос усреднение; Я предполагаю, что это их дефолт по какой-то причине.