Ошибка чтения CSV-файла в Spark

Question

Я пытаюсь загрузить CSV-файл в HDFS и читать то же самое в Spark как RDD. Я использую Hortonworks Sandbox и пробую их через командную строку. Я загрузил данные следующим образом: по-видимому, загружена, как показано с помощью следующей команды

hadoop fs -put data.csv/

Данные:

[root@sandbox temp]# hadoop fs -ls /data.csv 
-rw-r--r-- 1 hdfs hdfs 70085496 2015-10-04 14:17 /data.csv 

В pyspark, я попробовал чтение этого файла следующим образом:

data = sc.textFile('/data.csv') 

Однако следующая команда принятия команды выдает сообщение об ошибке:

data.take(5) 

Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
    File "/usr/hdp/2.3.0.0-2557/spark/python/pyspark/rdd.py", line 1194, in take 
    totalParts = self._jrdd.partitions().size() 
    File "/usr/hdp/2.3.0.0-2557/spark/python/lib/py4j-0.8.2.1- src.zip/py4j/java_gateway.py", line 538, in __call__ 
    File "/usr/hdp/2.3.0.0-2557/spark/python/lib/py4j-0.8.2.1-src.zip/py4j/protocol.py", line 300, in get_return_value 
py4j.protocol.Py4JJavaError: An error occurred while calling o35.partitions. 
: org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/data.csv 

Может кто-нибудь помочь мне с этой ошибкой?

Answer 1

Я понял ответ из. Я должен был ввести полный путь к файлу HDFS следующим образом:

data = sc.textFile('hdfs://sandbox.hortonworks.com:8020/data.csv') 

Полный путь получаются из Conf/ядер-site.xml

Answer 2

Ошибка org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/data.csv

Он читает от вас локальной файловой системы вместо HDFS.

Try обеспечивая путь к файлу, как показано ниже,

data = sc.textFile("hdfs://data.csv")