Исходный код Spark Apache

Question

Я работаю сейчас с Spark. Например, я делаю разные оценки с помощью пакетов MLlib и систем рекомендаций (Java или Python). Я уже видел документацию о Spark on github. Согласно документации, я могу подготовить свою модель в Spark с вызовом метода train. Вот:

JavaRecommendationExample

Я специально заинтересован в строках кода 50-53:

// Build the recommendation model using ALS 
int rank = 10; 
int numIterations = 10; 
MatrixFactorizationModel model = ALS.train(JavaRDD.toRDD(ratings), rank, numIterations, 0.01); 

Я хотел бы знать исходный код этого метода.

Что-то еще, я уже нашел возможную реализацию в Python example. Меня особенно интересуют линии 240-275. Вот документация в коде:

Поезд матрицы факторизация модель с учетом РД оценок пользователями для подмножества продуктов. Матрица оценок аппроксимируется как произведение двух матриц нижнего ранга данного ранга (число ). Для решения этих задач ALS выполняется итеративно с настраиваемым уровнем параллелизма.

В приведенном ниже коде я не вижу никаких итераций над матрицами. Может ли кто-нибудь помочь мне и предоставить правильный исходный код, где будут выполняться шаги итерации? Или, пожалуйста, подтвердите здесь, что метод поезда не является открытым исходным кодом.

Answer 1

Ну я не знаю, насколько глубоко вы искали в методе train но есть что-то вроде:

for (iter <- 1 to maxIter) { 
    ... 
} 

(l.651 для implicits и l.672 для явного с исходным кодом Спарк 1.6.0). Вы можете найти исходный код на странице искры и посмотреть на org.apache.spark.ml.recommendation.ALS (обратите внимание, что реализация теперь на ML, а не на MLLib).

Here's the source code (с комментариями выше!)