libsvm (C++) Всегда выдает такое же предсказание

Question

Я реализовал оболочку OpenCV/C++ для libsvm. При выполнении grid-поиска параметров SVM (ядро RBF) предсказание всегда возвращает ту же метку. Я создал искусственные наборы данных, которые имеют очень легко разделяемые данные (и попытались предсказать данные, которые я только что обучил), но все же он возвращает одну и ту же метку.

Я использовал реализацию MATLAB libsvm и достиг высокой точности в том же наборе данных. Я должен делать что-то неправильно с настройкой проблемы, но я много раз проходил README, и я не могу найти эту проблему.

Вот как я создал проблему libsvm, где данные является OpenCV Mat:

const int rowSize = data.rows; 
    const int colSize = data.cols; 

    this->_svmProblem = new svm_problem; 
    std::memset(this->_svmProblem,0,sizeof(svm_problem)); 

    //dynamically allocate the X matrix... 
    this->_svmProblem->x = new svm_node*[rowSize]; 
    for(int row = 0; row < rowSize; ++row) 
     this->_svmProblem->x[row] = new svm_node[colSize + 1]; 

    //...and the y vector 
    this->_svmProblem->y = new double[rowSize]; 
    this->_svmProblem->l = rowSize; 

    for(int row = 0; row < rowSize; ++row) 
    { 
     for(int col = 0; col < colSize; ++col) 
     { 
      //set the index and the value. indexing starts at 1. 
      this->_svmProblem->x[row][col].index = col + 1; 
      double tempVal = (double)data.at<float>(row,col); 
      this->_svmProblem->x[row][col].value = tempVal; 
     } 

     this->_svmProblem->x[row][colSize].index = -1; 
     this->_svmProblem->x[row][colSize].value = 0; 

     //add the label to the y array, and feature vector to X matrix 
     double tempVal = (double)labels.at<float>(row); 
     this->_svmProblem->y[row] = tempVal; 
    } 


}/*createProblem()*/ 

Вот как настроить параметры, где svmParams моя собственная структура для C/Gamma и такие:

this->_svmParameter = new svm_parameter; 
    std::memset(this->_svmParameter,0,sizeof(svm_parameter)); 
    this->_svmParameter->svm_type = svmParams.svmType; 
    this->_svmParameter->kernel_type = svmParams.kernalType; 
    this->_svmParameter->C = svmParams.C; 
    this->_svmParameter->gamma = svmParams.gamma; 
    this->_svmParameter->nr_weight = 0; 
    this->_svmParameter->eps = 0.001; 
    this->_svmParameter->degree = 1; 
    this->_svmParameter->shrinking = 0; 
    this->_svmParameter->probability = 1; 
    this->_svmParameter->cache_size = 100; 

Я использую предоставленную функцию param/problem, и ошибки не возвращаются.

Я тогда поезд, как, например:

this->_svmModel = svm_train(this->_svmProblem, this->_svmParameter); 

И тогда предсказать, как так:

float pred = (float)svm_predict(this->_svmModel, x[i]); 

Если кто-то может указать на то, куда я иду неправильно здесь я был бы весьма признателен. Спасибо!

EDIT:

Используя этот код, который я напечатал содержание проблемы

for(int i = 0; i < rowSize; ++i) 
    { 
     std::cout << "["; 
     for(int j = 0; j < colSize + 1; ++j) 
     { 
      std::cout << " (" << this->_svmProblem->x[i][j].index << ", " << this->_svmProblem->x[i][j].value << ")"; 
     } 
     std::cout << "]" << " <" << this->_svmProblem->y[i] << ">" << std::endl; 
    } 

Вот результат:

[ (1, -1) (2, 0) (-1, 0)] <1> 
[ (1, -0.92394) (2, 0) (-1, 0)] <1> 
[ (1, -0.7532) (2, 0) (-1, 0)] <1> 
[ (1, -0.75977) (2, 0) (-1, 0)] <1> 
[ (1, -0.75337) (2, 0) (-1, 0)] <1> 
[ (1, -0.76299) (2, 0) (-1, 0)] <1> 
[ (1, -0.76527) (2, 0) (-1, 0)] <1> 
[ (1, -0.74631) (2, 0) (-1, 0)] <1> 
[ (1, -0.85153) (2, 0) (-1, 0)] <1> 
[ (1, -0.72436) (2, 0) (-1, 0)] <1> 
[ (1, -0.76485) (2, 0) (-1, 0)] <1> 
[ (1, -0.72936) (2, 0) (-1, 0)] <1> 
[ (1, -0.94004) (2, 0) (-1, 0)] <1> 
[ (1, -0.92756) (2, 0) (-1, 0)] <1> 
[ (1, -0.9688) (2, 0) (-1, 0)] <1> 
[ (1, 0.05193) (2, 0) (-1, 0)] <3> 
[ (1, -0.048488) (2, 0) (-1, 0)] <3> 
[ (1, 0.070436) (2, 0) (-1, 0)] <3> 
[ (1, 0.15191) (2, 0) (-1, 0)] <3> 
[ (1, -0.07331) (2, 0) (-1, 0)] <3> 
[ (1, 0.019786) (2, 0) (-1, 0)] <3> 
[ (1, -0.072793) (2, 0) (-1, 0)] <3> 
[ (1, 0.16157) (2, 0) (-1, 0)] <3> 
[ (1, -0.057188) (2, 0) (-1, 0)] <3> 
[ (1, -0.11187) (2, 0) (-1, 0)] <3> 
[ (1, 0.15886) (2, 0) (-1, 0)] <3> 
[ (1, -0.0701) (2, 0) (-1, 0)] <3> 
[ (1, -0.17816) (2, 0) (-1, 0)] <3> 
[ (1, 0.12305) (2, 0) (-1, 0)] <3> 
[ (1, 0.058615) (2, 0) (-1, 0)] <3> 
[ (1, 0.80203) (2, 0) (-1, 0)] <1> 
[ (1, 0.734) (2, 0) (-1, 0)] <1> 
[ (1, 0.9072) (2, 0) (-1, 0)] <1> 
[ (1, 0.88061) (2, 0) (-1, 0)] <1> 
[ (1, 0.83903) (2, 0) (-1, 0)] <1> 
[ (1, 0.86604) (2, 0) (-1, 0)] <1> 
[ (1, 1) (2, 0) (-1, 0)] <1> 
[ (1, 0.77988) (2, 0) (-1, 0)] <1> 
[ (1, 0.8578) (2, 0) (-1, 0)] <1> 
[ (1, 0.79559) (2, 0) (-1, 0)] <1> 
[ (1, 0.99545) (2, 0) (-1, 0)] <1> 
[ (1, 0.78376) (2, 0) (-1, 0)] <1> 
[ (1, 0.72177) (2, 0) (-1, 0)] <1> 
[ (1, 0.72619) (2, 0) (-1, 0)] <1> 
[ (1, 0.80149) (2, 0) (-1, 0)] <1> 
[ (1, 0.092327) (2, -1) (-1, 0)] <2> 
[ (1, 0.019054) (2, -1) (-1, 0)] <2> 
[ (1, 0.15287) (2, -1) (-1, 0)] <2> 
[ (1, -0.1471) (2, -1) (-1, 0)] <2> 
[ (1, -0.068182) (2, -1) (-1, 0)] <2> 
[ (1, -0.094567) (2, -1) (-1, 0)] <2> 
[ (1, -0.17071) (2, -1) (-1, 0)] <2> 
[ (1, -0.16646) (2, -1) (-1, 0)] <2> 
[ (1, -0.030421) (2, -1) (-1, 0)] <2> 
[ (1, 0.094346) (2, -1) (-1, 0)] <2> 
[ (1, -0.14408) (2, -1) (-1, 0)] <2> 
[ (1, 0.090025) (2, -1) (-1, 0)] <2> 
[ (1, 0.043706) (2, -1) (-1, 0)] <2> 
[ (1, 0.15065) (2, -1) (-1, 0)] <2> 
[ (1, -0.11751) (2, -1) (-1, 0)] <2> 
[ (1, -0.02324) (2, 1) (-1, 0)] <2> 
[ (1, 0.0080356) (2, 1) (-1, 0)] <2> 
[ (1, -0.17752) (2, 1) (-1, 0)] <2> 
[ (1, 0.011135) (2, 1) (-1, 0)] <2> 
[ (1, -0.029063) (2, 1) (-1, 0)] <2> 
[ (1, 0.15398) (2, 1) (-1, 0)] <2> 
[ (1, 0.097746) (2, 1) (-1, 0)] <2> 
[ (1, 0.01018) (2, 1) (-1, 0)] <2> 
[ (1, 0.015592) (2, 1) (-1, 0)] <2> 
[ (1, -0.062793) (2, 1) (-1, 0)] <2> 
[ (1, 0.014444) (2, 1) (-1, 0)] <2> 
[ (1, -0.1205) (2, 1) (-1, 0)] <2> 
[ (1, -0.18011) (2, 1) (-1, 0)] <2> 
[ (1, 0.010521) (2, 1) (-1, 0)] <2> 
[ (1, 0.036914) (2, 1) (-1, 0)] <2> 

Здесь печатаются данные в формате [(индекс, значение) ...].

Искусственный набор данных, который я создал, имеет только 3 класса, которые легко разделяются с помощью границы нелинейного решения. Каждая строка представляет собой вектор функций (наблюдение) с двумя функциями (координата x, координата y). Libsvm просит закончить каждый вектор с меткой -1, поэтому я это делаю.

EDIT2:

Это изменение относится к моим C и значение гаммы используемых для обучения, а также масштабирование данных. Я обычно данные между 0 и 1 (как предлагается здесь: http://www.csie.ntu.edu.tw/~cjlin/papers/guide/guide.pdf). Я также масштабирую этот поддельный набор данных и повторю попытку, хотя я использовал тот же самый точный набор данных с реализацией libsvm MATLAB, и он мог бы отделить эти немасштабированные данные с точностью 100%.

Для C и Gamma, я также использую значения, рекомендованные в руководстве.Я создаю два вектора и использовать двойной вложенный цикл, чтобы попробовать все возможные комбинации:

std::vector<double> CList, GList; 
double baseNum = 2.0; 
for(double j = -5; j <= 15; j += 2) //-5 and 15 
    CList.push_back(pow(baseNum,j)); 
for(double j = -15; j <= 3; j += 2) //-15 and 3 
    GList.push_back(pow(baseNum,j)); 

И цикл выглядит следующим образом:

for(auto CIt = CList.begin(); CIt != CList.end(); ++CIt) //for all C's 
    { 
     double C = *CIt; 
     for(auto GIt = GList.begin(); GIt != GList.end(); ++GIt) //for all gamma's 
     { 
      double gamma = *GIt; 
      svmParams.svmType = C_SVC; 
      svmParams.kernalType = RBF; 
      svmParams.C = C; 
      svmParams.gamma = gamma; 

     ......training code etc.......... 

EDIT3:

Поскольку я продолжаю ссылку MATLAB, я покажут различия в точности. Вот тепловая карта урожайности точность libsvm:

А вот точность карты MATLAB дает, используя те же параметры и тот же C/Gamma сетка:

Вот код, используемый для создания списков C/Gamma, и как я тренируюсь:

CList = 2.^(-15:2:15);%(-5:2:15); 
GList = 2.^(-15:2:15);%(-15:2:3); 
cmd = ['-q -s 0 -t 2 -c ', num2str(C), ' -g ', num2str(gamma)]; 
model = ovrtrain(yTrain,xTrain,cmd); 

EDIT4

Как проверка работоспособности, я переформатировал свой поддельный масштабированный набор данных, чтобы соответствовать набору данных, используемому интерфейсом терминалов Unix/Linux от libsvm. Я тренировался и предсказал использование C/Gamma, найденного на карте точности MATLAB. Точность прогнозирования составила 100%. Таким образом, я абсолютно ошибаюсь в реализации на C++.

EDIT5

Я загрузил модели, обученной из терминала Linux в моей C++ класса-оболочки. Затем я попытался предсказать тот же точный набор данных, который использовался для обучения. Точность в C++ все еще была ужасной! Тем не менее, я очень близок к сужению источника проблемы. Если MATLAB/Linux согласны с точки зрения 100% -ной точности, и модель, которую она производит, уже доказала, что дает 100% -ную точность в том же наборе данных, который был обучен, и теперь мой класс оболочки C++ показывает низкую производительность с проверенной моделью. .. возможны три ситуации:

1. Метод, который я использую для преобразования cv :: Mats в svm_node *, который он требует для прогнозирования, имеет проблему.
2. Метод, который я использую для прогнозирования меток, имеет проблему.
3. BOTH 2 и 3!

Код, чтобы действительно проверить сейчас, как я создаю svm_node. Здесь снова:

svm_node** LibSVM::createNode(INPUT const cv::Mat& data) 
{ 
    const int rowSize = data.rows; 
    const int colSize = data.cols; 

    //dynamically allocate the X matrix... 
    svm_node** x = new svm_node*[rowSize]; 
    if(x == NULL) 
     throw MLInterfaceException("Could not allocate SVM Node Array."); 

    for(int row = 0; row < rowSize; ++row) 
    { 
     x[row] = new svm_node[colSize + 1]; //+1 here for the index-terminating -1 
     if(x[row] == NULL) 
      throw MLInterfaceException("Could not allocate SVM Node."); 
    } 

    for(int row = 0; row < rowSize; ++row) 
    { 
     for(int col = 0; col < colSize; ++col) 
     { 
      double tempVal = data.at<double>(row,col); 
      x[row][col].value = tempVal; 
     } 

     x[row][colSize].index = -1; 
     x[row][colSize].value = 0; 
    } 

    return x; 
} /*createNode()*/ 

И прогноз:

cv::Mat LibSVM::predict(INPUT const cv::Mat& data) 
{ 
    if(this->_svmModel == NULL) 
     throw MLInterfaceException("Cannot predict; no model has been trained or loaded."); 

    cv::Mat predMat; 

    //create the libsvm representation of data 
    svm_node** x = this->createNode(data); 

    //perform prediction for each feature vector 
    for(int i = 0; i < data.rows; ++i) 
    { 
     double pred = svm_predict(this->_svmModel, x[i]); 
     predMat.push_back<double>(pred); 
    }   

    //delete all rows and columns of x 
    for(int i = 0; i < data.rows; ++i) 
     delete[] x[i]; 
    delete[] x; 


    return predMat; 
} 

EDIT6:

Для тех из вас настраивались дома, я тренировался модель (с использованием оптимального C/Gamma найдено в MATLAB) на C++, сохранили его в файл, а затем попытались предсказать данные обучения через терминал Linux. Он набрал 100%. Что-то не так с моим предсказанием.o_0

EDIT7:

Я нашел этот вопрос окончательно. У меня была огромная помощь в отслеживании ошибок при поиске. Я напечатал содержимое двумерного массива svm_node **, используемого для прогнозирования. Это был подмножество метода createProblem(). Был его кусок, который я не смог скопировать + вставить в новую функцию. Это был показатель данной особенности; он никогда не писал. Должна быть еще одна строка:

x[row][col].index = col + 1; //indexing starts at 1 

И предсказание отлично работает сейчас.

Answer 1

Было бы полезно увидеть ваше значение гаммы, так как ваши данные не нормализованы, что может иметь огромное значение.

Гамма в libsvm обратна к радиусу гиперсферы, поэтому, если эти сферы слишком малы по отношению к входному диапазону, все будет активировано всегда, а затем модель будет выводить всегда одно и то же значение.

Итак, две рекомендации: 1) Увеличьте свои входные значения до диапазона [-1,1]. 2) Играйте с гамма-значениями.