Как преобразовать матрицу в RDD [Vector] in spark

Question

Как конфертировать из org.apache.spark.mllib.linalg.Matrix в RDD[org.apache.spark.mllib.linalg.Vector] в Spark?

Матрица создается из SVD, и я использую результаты SVD для анализа кластеризации.

Answer 1

MLlib's Matrix - небольшая локальная матрица. Вероятно, было бы более эффективно анализировать его локально, а не превращать его в RDD.

Во всяком случае, если ваш кластеризация поддерживает только RDD в качестве входных данных, вот как вы можете сделать преобразование:

import org.apache.spark.mllib.linalg._ 
def toRDD(m: Matrix): RDD[Vector] = { 
    val columns = m.toArray.grouped(m.numRows) 
    val rows = columns.toSeq.transpose // Skip this if you want a column-major RDD. 
    val vectors = rows.map(row => new DenseVector(row.toArray)) 
    sc.parallelize(vectors) 
}