Назначение весов многоквартирным SVM для балансировки классов

Question

Как это сделать? Я использую Sklearn для обучения SVM. Мои классы не сбалансированы. Обратите внимание, что моя проблема мультиклассирует, MultiLabel поэтому я использую OneVsRestClassifier:

mlb = MultiLabelBinarizer() 
y = mlb.fit_transform(y_train) 

clf = OneVsRestClassifier(svm.SVC(kernel='rbf')) 
clf = clf.fit(x, y) 
pred = clf.predict(x_test) 

Могу ли я добавить параметр «sample_weight» где-то объяснить неуравновешенные классы?

---

Когда я добавить class_weight Dict к SVM я получаю ошибку:

ValueError: Class label 2 not present 

Это потому, что я превратил мои метки в двоичные с помощью MLB. Однако, если я не конвертировать надписи, я получаю:

ValueError: You appear to be using a legacy multi-label data representation. Sequence of sequences are no longer supported; use a binary array or sparse matrix instead. 

class_weight является ДИКТ, отображение метки класса весу: {1: 1, 2: 1, 3: 3 ...}

Здесь детали х и у:

print(X[0]) 
[ 0.76625633 0.63062721 0.01954162 ..., 1.1767817 0.249034 0.23544988] 
print(type(X)) 
<type 'numpy.ndarray'> 

print(y[0]) 
print(type(y)) 
[1, 2, 3, 4, 5, 6, 7] 
<type 'numpy.ndarray'> 

Заметим, что = MultiLabelBinarizer MLB(); y = mlb.fit_transform (y_train) преобразует y в двоичный массив.

---

Предложенный ответ выдает ошибку:

ValueError: You appear to be using a legacy multi-label data representation. Sequence of sequences are no longer supported; use a binary array or sparse matrix instead. 

Таким образом, задача сводится к преобразованию метки (а np.array) для разреженной матрицы.

from scipy import sparse 
y_sp = sparse.csr_matrix(y) 

Это дает ошибку:

TypeError: no supported conversion for types: (dtype('O'),) 

Открою новый запрос для этого.

Answer 1

Вы могли бы использовать:

class_weight : {dict, ‘balanced’}, optional

Set the parameter C of class i to class_weight[i]*C for SVC. If not given, all classes are supposed to have weight one. The “balanced” mode uses the values of y to automatically adjust weights inversely proportional to class frequencies in the input data as n_samples/(n_classes * np.bincount(y))

clf = OneVsRestClassifier(svm.SVC(kernel='rbf', class_weight='balanced')) 

Answer 2

Этот код прекрасно работает с 'сбалансированным' значения class_weight атрибута

>>> from sklearn.preprocessing import MultiLabelBinarizer 
>>> from sklearn.svm import SVC 
>>> from sklearn.multiclass import OneVsRestClassifier 

>>> mlb = MultiLabelBinarizer() 
>>> x = [[0,1,1,1],[1,0,0,1]] 
>>> y = mlb.fit_transform([['sci-fi', 'thriller'], ['comedy']]) 

>>> print y 
>>> print mlb.classes_ 
[[0 1 1] 
[1 0 0]] 
['comedy' 'sci-fi' 'thriller'] 

>>> OneVsRestClassifier(SVC(random_state=0, class_weight='balanced')).fit(x, y).predict(x) 
array([[0, 1, 1], 
    [1, 0, 0]])