дисбаланс данных в SVM с использованием libSVM

Question

Как настроить параметры гаммы и стоимости в libSVM, когда я использую несбалансированный набор данных, состоящий из 75% «истинных» меток и 25% «ложных» меток? Я получаю постоянную ошибку, когда все предсказанные метки установлены на «True» из-за дисбаланса данных.

Если проблема не связана с libSVM, но с моим набором данных, как я должен справиться с этим дисбалансом с точки зрения теоретического машинного обучения? * Количество функций, которые я использую, составляет от 4 до 10, и у меня есть небольшой набор из 250 точек данных.

Answer 1

Классы дисбаланс не имеет ничего общего с выбором C и гамма, для решения этой проблемы вы должны использовать class weighting scheme, который доступен в, например, scikit-learn пакет (построен на libsvm)

Выбор лучшего C и gamma выполняется с использованием поиска сетки с перекрестной проверкой. Вы должны попробовать широкий диапазон значений здесь, для C разумно выбирать значения между 1 и 10^15, а простая и эффективная эвристика значений значений gamma - это вычислять попарные расстояния между всеми вашими точками данных и выбирать гамму в соответствии с процентилями этого Распределение - подумайте о том, чтобы в каждой точке было распределено гауссовское распределение с дисперсией, равным 1/gamma, - если вы выберете такое gamma, что это перекрытие распределения будет иметь много точек, вы получите очень «плавную» модель, а использование небольшой дисперсии приведет к переобучению.

Answer 2

Несбалансированные наборы данных могут быть решены различными способами. Баланс классов не влияет на параметры ядра, такие как gamma для ядра RBF.

Два наиболее популярные подходы:

1. Используйте различные штрафы за ошибки классификации класса, это в основном означает изменение C. Как правило, наименьший класс взят выше, общий подход - npos * wpos = nneg * wneg. LIBSVM позволяет вам делать это, используя свои флаги -wX.
2. Подберите перепредставленный класс, чтобы получить равное количество положительных и отрицательных эффектов и продолжить обучение, как вы традиционно использовали бы для сбалансированного набора. Обратите внимание, что вы в основном игнорируете большой кусок данных таким образом, что является интуитивно плохой идеей.

Answer 3

Я знаю, что это было задано некоторое время назад, но я хотел бы ответить на него, поскольку вы можете найти мой ответ полезным.

Как уже упоминалось, вы можете рассмотреть возможность использования разных весов для классов меньшинства или с использованием разных штрафных санкций. Однако есть более умный способ борьбы с несбалансированными наборами данных.

Вы можете использовать поражали (S ynthetic M inority О вер дискретизации Те chnique) алгоритм для генерации синтезированных данных для класса меньшинства. Это простой алгоритм, который очень хорошо справляется с некоторыми наборами данных дисбаланса.

На каждой итерации алгоритма SMOTE рассматривает два случайных экземпляра класса меньшинства и добавляет искусственный пример того же класса где-то посередине. Алгоритм продолжает вводить набор данных с образцами до тех пор, пока два класса не станут сбалансированными или некоторые другие критерии (например, добавьте определенное количество примеров). Ниже вы можете найти изображение, описывающее алгоритм для простого набора данных в пространстве 2D-объектов.

Связанный вес с классом меньшинства является частным случаем этого алгоритма. Когда вы связываете вес $ w_i $ с экземпляром i, вы в основном добавляете дополнительные $ w_i - 1 $ экземпляры поверх экземпляра i!

• Что вам нужно сделать, это увеличить свой первоначальный набор данных образцов, созданных этим алгоритмом, и обучить SVM с этим новым набором данных. Вы также можете найти множество реализаций онлайн на разных языках, таких как Python и Matlab.

• Были и другие расширения этого алгоритма, я могу указать вам на большее количество материалов, если вы хотите.

• Чтобы проверить классификатор, что нужно разделить набор данных в тест и поезд, добавьте синтетические экземпляры в набор поезда (не добавляйте к испытательному комплекту), натренировать модель на съемочной площадке поезда, и, наконец, проверьте его на тестовом наборе. Если вы рассматриваете сгенерированные экземпляры при тестировании, вы получите пристрастную (и смехотворно более высокую) точность и отзыв.