Прочтите файл csv в Apache Spark из удаленного местоположения (ftp)

Question

У меня есть файл на машине Ubuntu, который я хочу прочитать в искры Apache.

Я нашел этот пример:

object BasicTextFromFTP { 
    def main(args: Array[String]) { 
     val conf = new SparkConf 
     conf.setMaster(args(0)) 
     val sc = new SparkContext(conf) 
     val file = sc.textFile("ftp://anonymous:pandamagic@ftp.ubuntu.com/ubuntu/ls-LR.gz") 
     println(file.collect().mkString("\n")) 
    } 
} 

по этой ссылке:

https://github.com/databricks/learning-spark/blob/master/src/main/scala/com/oreilly/learningsparkexamples/scala/BasicLoadTextFromFTP.scala

Я не понимаю, как создается URL. Пожалуйста, помогите мне с этим.

Answer 1

Базовая структура URL является типом схемы (здесь ftp) с последующим

//<user>:<password>@<host>:<port>/<url-path> 

, где каждая часть за исключением хост может быть опущена.