1
Мне было поручено решить проблему классификации чувств, используя scikit-learn, python и mapreduce. Мне нужно использовать mapreduce для параллелизации проекта, создавая таким образом несколько классификаторов SVM. Затем я должен «усреднять» классификаторы вместе, но я не уверен, как это работает, или если это возможно. Результатом классификации должен быть один классификатор, обученный, усредненный классификатор.Объединение классификаторов SVM в MapReduce
Я написал код, используя scikit-learn SVM Linear kernel, и он работает, но теперь мне нужно привести его в уменьшающий карту, параллельный контекст, и я даже не знаю, с чего начать.
Любые советы?
Посмотрите на оценки ансамблей, такие как упаковка и форсирование, они позволяют комбинировать базовые оценки. По меньшей мере, мешки можно легко распределять между машинами. Но я не знаю, как обучение классификатора связано с уменьшением карты. Может быть, вы не поняли свою задачу? Или вам просто нужно использовать Map-reduce на этапе предварительной обработки данных? Кроме того, если вы хотите тренировать некоторый алгоритм в распределенной форме - я бы рекомендовал вам посмотреть Apache Spark и MLib, в которых есть некоторые готовые к использованию algos. –