Нецелочисленные Идентификаторы в Спарк MLlib ALS

Question

Я хотел бы использовать

val ratings = data.map(_.split(',') match { 
     case Array(user,item,rate) 
     => 
     Rating(user.toInt,item.toInt,rate.toFloat) 
    }) 
val model = ALS.train(ratings,rank,numIterations,alpha) 

Однако пользовательские данные я получаю сохраняются дольше. При переключении на int это может привести к ошибке. Как я могу решить проблему?

Answer 1

Вы можете использовать одну из реализаций ML, которые поддерживают метки Long. RDD версия это значительно менее удобным по сравнению с другими реализациями:

import org.apache.spark.ml.recommendation.ALS 
import org.apache.spark.ml.recommendation.ALS.Rating 

val ratings = sc.parallelize(Seq(Rating(1L, 2L, 3.0f), Rating(2L, 3L, 5.0f))) 

val (userFactors, itemFactors) = ALS.train(ratings) 

и возвращает только коэффициенты, но DataFrame версия возвращает модель:

val ratingsDF= ratings.toDF 

val alsModel = new ALS().fit(ratingsDF)