Ошибка Spark 2.0 CSV

Question

Я обновляю до искры 2 от 1.6 и у меня проблема с чтением в CSV-файлах. В искрах 1.6 у меня было бы что-то подобное, чтобы читать в CSV-файле.

val df = sqlContext.read.format("com.databricks.spark.csv") 
.option("header", "true") 
.load(fileName) 

Теперь я использую следующий код, как указано в документации:

val df = spark.read 
.option("header", "true") 
.csv(fileName) 

Это приводит к следующей ошибке при запуске:

"Exception in thread "main" java.lang.RuntimeException: Multiple sources found for csv (org.apache.spark.sql.execution.datasources.csv.CSVFileFormat, com.databricks.spark.csv.DefaultSource15), please specify the fully qualified class name."

Я полагаю, это потому, что я все еще была зависимость от искры-csv, однако я удалил эту зависимость и перестроил приложение, и я все равно получаю ту же ошибку. Как все еще найдена зависимость databricks после ее удаления?

Answer 1

Сообщение об ошибке означает, что у вас есть опция --packages com.databricks:spark-csv_2.11:1.5.0, пока вы запускаете spark-shell или используете эти банки в своем классе. Проверьте путь к классу и удалите его.