Spark Shell Read Local Parquet File

Question

Можно ли просматривать паркетные файлы из локальной файловой системы в Spark Shell?

У меня возникла проблема, что он хочет прочитать его из hdfs.

sqlContext.sql("SET spark.sql.parquet.binaryAsString=true") 
df = sqlContext.parquetFile('/Users/file.parquet') 

Также пробовал: 'file:///Users/file.parquet'

Ошибка:

java.io.FileNotFoundException: File does not exist: hdfs://nameservice1/Users/file.parquet ```

Answer 1

Все работало волшебно, когда я переехал в Спарк 1.5 вместо 1.3.