Какова нормальная скорость для моделей нейронной сети?

Question

Я строю систему с NN, предназначенную для классификации.

Меня интересует, какова частота ошибок для систем, которые вы создали?

Классический пример из UCI ML - набор данных Iris. NN тренируется на нем почти идеально - коэффициент ошибок 0-1%; однако это очень простой набор данных.

Моя сеть имеет следующую структуру: 80in, 208hid, 2out. Мой результат - 8% -ная ошибка при тестировании набора данных.

В основном в этом вопросе я хочу спросить о результатах различных исследований вы столкнулись, в работе, документы и т.д.

Дополнение 1: частота ошибок, конечно, на тестирование данных - не обучение. Так что это совершенно новый набор данных для сети

Добавление 2 (из моего комментария по вопросу): Мои новые результаты. 1200 записей, 900 тренировок, 300 тестов. 85 в Class1, 1115 в классе2. Из 85, 44 в тестовом наборе. Коэффициент ошибок - 6%. Это не так уж плохо, потому что 44 составляет ~ 15% от 300. Таким образом, я в 2,5 раза лучше ..

Answer 1

Смотрите, например этот документ:

Данило П. Мандич и Джонатон А. Chanbers (2000) , На пути к оптимальной обучающей программе для Обратное распространение, Письма с нейральной обработкой 11: 1-5. PDF

Answer 2

Производительность модели полностью зависит от конкретной ситуации. Даже в ситуациях с аналогичным качеством и объемами данных разработки, с идентичными определениями целевых переменных, производительность может существенно различаться. Очевидно, чем более сходны определения проблем, тем больше вероятность того, что производительность разных моделей будет соответствовать.

Еще одна вещь, которую следует учитывать, - это разница между техническими характеристиками и . В некоторых приложениях точность 52% чрезвычайно выгодна, тогда как в других областях, а точность 98% будет безнадежно низкой.

Answer 3

Позвольте мне также добавить, что помимо того, что упоминает Predictor, измерение вашей производительности на тренировочном наборе обычно бесполезно в качестве руководства для определения того, как ваш классификатор будет выполнять ранее невидимые данные. Много раз с относительно простыми классификаторами вы можете получить 0% частоты ошибок на обучающем наборе, не изучая ничего полезного (это называется переобучением).

Что более часто используется (и более полезно при определении того, как работает ваш классификатор), либо выдает данные или перекрестная проверка, даже лучше, если вы разделяете свои данные в три раза: обучение, проверка и тестирование.

Также очень сложно понять, насколько хороший классификатор работает с одного порога и дает только истинные положительные + истинные негативы. Люди склонны также оценивать ложные срабатывания и ложные негативы и строить кривые ROC для просмотра/оценки компромисса. Итак, говоря «в 2,5 раза лучше», вам должно быть ясно, что вы сравниваете с классификатором, который классифицирует все как C2, что является довольно дрянной базой.