в машинном обучении: существует ли аналог анализа ошибок для задач, не связанных с классификацией?

Question

Я изучаю применение методов машинного обучения с использованием Octave. В компьютерном обучении проблема классификации старается классифицировать случай на основе его особенностей. Например, алгоритм машинного обучения может смотреть на 100 факторов, чтобы попытаться решить, будет ли человек использовать или не будет использовать по умолчанию кредит. (то есть выход, если человек принадлежит классу, будет по умолчанию или класс не будет использоваться по умолчанию).

Я узнал, что «анализ ошибок» (т. Е. Ручной анализ ошибочного результата) может помочь выявить ошибки в классификации классификации машин.

Есть ли аналог для проблем, не связанных с классификацией? В частности, если алгоритм машинного обучения пытается предсказать значение (например, доход человека), но ошибочно, существует ли аналог анализа ошибок для того, чтобы понять, почему алгоритм терпит неудачу?

Answer 1

Абсолютно! Если вы сохраните отчет о том, как далеко от вашего прогноза для каждого прогноза, вы можете четко определить тенденции очень четко, хотя этот подход обычно зависит от умного способа визуализации данных.

Например, понимая, что, хотя средняя ошибка равна 100, но на примерах, где одна из ваших входных переменных действительно высокая или очень низкая (качественно), средняя ошибка перескакивает до 1000, вам, вероятно, необходимо настроить лучшую учетную запись для эти высокие и низкие значения.

Поскольку так много машинного обучения больше искусства, чем науки, трудно сказать, какая форма анализа ошибок будет иметь смысл для вашей конкретной проблемы, но общее решение - это посмотреть на тенденции средней ошибки для ограниченных наборов образцов (т.е. какова средняя ошибка моего предсказателя теней, когда он превышает 90 градусов?)

В теории вы должны выбрать свои тесты, чтобы различия между состояниями были очевидными и привели к очевидным изменениям. Например, если вы не рассматриваете одну переменную, вы можете выполнить проверку своей ошибки по сравнению с значением этой переменной и визуально отобразить ее, чтобы определить, выглядит ли она шумно или существует определенная тенденция определять, включать или нет эта переменная.

Надеюсь, это ясно, сообщите мне, если у вас есть какие-либо вопросы или вы хотите получить разъяснения.

Answer 2

Существует множество инструментов для анализа результатов регрессии (случай, который вы описываете, где вы пытаетесь оценить доход). Наиболее распространенными являются: mean squared error и measures of correlation, такие как Pearson и Spearman.

Наконец, позвольте мне подчеркнуть, что я дал вам только самые основные методы, любой хороший учебник по статистике должен служить вам.