Spark с Webhdfs/httpfs

Question

Я хотел бы прочитать файл из HDFS в Spark через httpfs или Webhdfs. Что-то вдоль линий

sc.textFile ("webhdfs: // MyHost: 14000/webhdfs/v1/путь/к/file.txt")

или, в идеале,

sc.textFile ("httpfs: // MyHost: 14000/webhdfs/v1/путь/к/file.txt")

есть ли способ, чтобы получить искру, чтобы прочитать файл через Webhdfs/httpfs ?

Answer 1

Я считаю, что WebHDFS/HttpFS похожи на потоковые источники для передачи данных через REST-API.

Затем Spark Streaming может использоваться для приема данных из WebHDFS/HttpFS.

Answer 2

В соответствии с запросом на улучшение документа SPARK-2930, spark.yarn.access.namenodes также должен работать для webhdfs/hdfs. SPARK-2930 clarify docs on using webhdfs with spark.yarn.access.namenodes

Running Spark on YARN Получить более подробную информацию о spark.yarn.access.namenodes