параллелизовать Resultset

Question

Я использую искру с Кассандрой и я уже выполнен этот скрипт:

import com.datastax.spark.connector.cql.CassandraConnector 

val cc = CassandraConnector(sc.getConf) 
val select = s"SELECT channel, ctid, cvid , WRITETIME(source) FROM "+CASSANDRA_SCHEMA+"."+table+";" 


val session = cc.openSession() 
val results = session.execute(select) 

PS: Я обязуюсь использовать этот метод из-за WRITETIME(source). Но значение results val является результатом набора данных, и мне интересно, можно ли распараллелить этот результирующий набор, чтобы получить RDD

Спасибо заранее.

Answer 1

'results' - это пример ResultSet и не может быть преобразован непосредственно в RDD. Во-первых, вам нужно материализовать полную коллекцию, запрашивая all элементы:

val collection = results.all 

Тем не менее, это не поможет, так как результат является java.util.List и нам нужна коллекция Scala. простое преобразование поможет:

val sCollection = collection.asScala 

Теперь, просто распараллелить его с помощью sparkContext распараллеливания методы:

val rdd = sc.parallelize(sCollection) 

Оттуда вы можете работать на объектов этой коллекции.