Запись вывода основных компонентов Анализ в текстовый файл

Question

Я выполнил анализ основных компонентов на матрице, которую я ранее загружал sc.textFile. Вывод - это org.apache.spark.mllib.linalg.Matrix I, а затем преобразовал его в RDD [Vector [Double]].

с:

import java.io.PrintWriter 

я сделал:

val pw = new PrintWriter("Matrix.csv") 
    rows3.collect().foreach(line => pw.println(line)) 
    pw.flush 

Выход CSV является перспективным. единственная проблема заключается в том, что каждая строка является DenseVector (некоторые значения). Как разбить каждую строку на соответствующие коэффициенты?

Большое спасибо

Answer 1

Вы можете использовать результаты computePrincipalComponents и breeze.linalg.csvwrite:

import java.io.File 
import breeze.linalg.{DenseMatrix => BDM, csvwrite} 

val mat: RowMatrix = ... 
val pca = mat.computePrincipalComponents(...) 

csvwrite(
    new File("Matrix.csv"), 
    new BDM[Double](mat.numRows, mat.numCols, mat.toArray)) 

Answer 2

конвертировать каждый вектор в строку (вы можете сделать это либо на водителя или исполнителями)

val pw = new PrintWriter("Matrix.csv") 
rows3.map(_.mkString(",")).collect().foreach(line => pw.println(line)) 
pw.flush 

редактировать: если данные слишком большой, чтобы поместиться в память водителя, вы можете попробовать что-то вроде этого:

val rdd = rows3.map(_.mkString(",")).zipWithIndex.cache 
val total = rdd.count 
val step = 10000 //rows in each chunk 
val range = 0 to total by step 
val limits = ranges.zip(range.drop(1)) 
limits.foreach { case(start, end) => 
        rdd.filter(x => x._2 >= start && x._2 < end) 
        .map(_._1) 
        .collect 
        .foreach(pw.println(_)) 
} 

Я не могу попробовать это, но это общая идея