Ошибка регистрации кадра данных

Question

Я создал 3 кадра данных и теперь хочу присоединиться к ним. Тем не менее, я бегу в эту ошибку: NoSuchMethodError: org.apache.spark.rdd.RDD.mapPartitionsInternal$default$2()Z

Вот код:

val join1 = c1_df.join(ck_df, ck_df.col("APP_ID") === c1_df.col("ID")) 

val joinFinal = join1.join(c2_df, c2_df.col("APP_ID") === join1.col("APP_ID")) 

joinFinal.show() 

Answer 1

следующий фрагмент кода работает без каких-либо проблем. вы уверены, что c1_df, ck_df и c2_df являются действительными dataframes? Это также может быть проблемой установки искробезопасности. убедитесь, что вы используете правильную версию Spark, и ваша переменная SPARK_HOME установлена ​​соответствующим образом.

val c1_df = sc.parallelize((1 to 10)).toDF("ID") 
val ck_df = sc.parallelize((1 to 10)).toDF("APP_ID") 
val c2_df = sc.parallelize((1 to 10)).toDF("APP_ID") 
val join1 = c1_df.join(ck_df, ck_df.col("APP_ID") === c1_df.col("ID")) 
val joinFinal = join1.join(c2_df, c2_df.col("APP_ID") === join1.col("APP_ID")) 
joinFinal.show() 
+---+------+------+ 
| ID|APP_ID|APP_ID| 
+---+------+------+ 
| 1|  1|  1| 
| 6|  6|  6| 
| 3|  3|  3| 
| 5|  5|  5| 
| 9|  9|  9| 
| 4|  4|  4| 
| 8|  8|  8| 
| 7|  7|  7| 
| 10| 10| 10| 
| 2|  2|  2| 
+---+------+------+