Как переписать код, чтобы избежать использования SqlContext.read() в Spark 1.3.1?

Question

Наш проект разрабатывался на Spark 1.4.0, и теперь мы хотим перенести его в другой кластер, которому нужен специальный Spark JAR, версия которого 1.3.1. Когда мы заменили JAR, мы нашли следующий код больше не работает:

val dataFrame = sqlContext.read.format("com.databricks.spark.csv") 
    .options(getOptionProperties(request.Options)) 
    .schema(schema) 
    .load(request.FilePath) 

Оказывается, что read доступен только после того, как 1,4. Итак, как я могу переписать код для получения равноправного результата?

Заранее благодарен!

Answer 1

из 1.4.0 SQLContext Documentation.

нагрузки (источник String, StructType схемы, варианты java.util.Map)

устар. Начиная с 1.4.0, заменяется на

Формат (источник) .схема (схема) .options (options) .load().

Так я думаю, вы можете использовать

load("com.databricks.spark.csv", schema, getOptionProperties(request.Options)) 

, чтобы получить тот же результат.

Answer 2

Для чтения CSV в dataframe, вам нужна эта 3rd ПАКЕТ вечеринка https://github.com/databricks/spark-csv

Документ довольно ясно Спарк 1.3