Cassandra/Parquet union RDD

Question

Я только начинаю с разъема spark-cassandra и сталкиваюсь со следующей проблемой: у меня есть набор данных, который частично находится в cassandra, частично в HDFS (такая же точная схема). Я хотел бы создать единый UnionRDD из двух наборов и перейти оттуда.

кода я до сих пор выглядит следующим образом:

DataFrame df = sqlContext.parquetFile("foo.parquet"); 
JavaRDD cassandraRDD = (JavaRDD)javaFuntions(sc).cassandraTable("foo_ks","foo_table"); 
DataFrame cassandraDF = sqlContext.applySchema(cassandraRDD,df.schema()); 

Я получаю сообщение об ошибке выполнения, говоря, что CassandraRow не может быть приведена к spark.sql.Row, исходя из вызова applySchema ... который не все к удивлению. Каким будет правильный способ заставить это работать? (моей конечной целью является объединение df & cassandraDF).

Я пробовал это с помощью Spark 1.3.1 и сборки из главной ветви cassandra-spark.

Answer 1

простым способом было бы написать функцию карты, которая будет принимать

1. Cassandra Row
2. Источник объект схемы
3. объект Целевая схема

Эта карта функция будет

1. Прочитайте строку cassandra, используя urce схемы (и решать вопросы, как заполнения отсутствуют колонны, подавить строки с вопросами определенных качеств данных и т.д.)
2. Перевести CASSANDRA схему, чтобы зажечь SQL схемы (это статическое отображение B/W Кассандры типов в SQL типов)
3. Возвращаемых объект SQL Row с целевой схемой

таким образом, вы должны быть в состоянии сделать llike

КОР = cRDD.map (C2R) .createDataFrame() // карта будет возвращать строку так не applySchema ему

В принципе, я бы предложил обрабатывать преобразование, используя одну функцию. Как только вы создадите DF из данных cassandra, вы можете объединиться с любым другим DF.