Я новичок в scala.How можно прочитать файл с HDFS с помощью scala (не используя искру). Когда я googled это я пальцы только пишущий вариант HDFS.Прочтите данные из hdfs с помощью scala
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.PrintWriter;
/**
* @author ${user.name}
*/
object App {
//def foo(x : Array[String]) = x.foldLeft("")((a,b) => a + b)
def main(args : Array[String]) {
println("Trying to write to HDFS...")
val conf = new Configuration()
//conf.set("fs.defaultFS", "hdfs://quickstart.cloudera:8020")
conf.set("fs.defaultFS", "hdfs://192.168.30.147:8020")
val fs= FileSystem.get(conf)
val output = fs.create(new Path("/tmp/mySample.txt"))
val writer = new PrintWriter(output)
try {
writer.write("this is a test")
writer.write("\n")
}
finally {
writer.close()
println("Closed!")
}
println("Done!")
}
}
Пожалуйста, помогите мне. Можете прочитать файл или загрузить файл с HDFS с помощью scala.
Что вы пытались до сих пор, например, с https://hadoop.apache.org/docs/current/api/org/apache/hadoop/fs/FileSystem.html? – Reactormonk
трудно следовать документам здесь imho – thebluephantom
Мы выбрали для небольших файлов для копирования из HDFS в локальную файловую систему и обрабатываем там ПОСЛЕДОВАТЕЛЬНО. – thebluephantom