FileNotFound Исключение при чтении файла из HDFS

Question

я пытаюсь прочитать файл из HDFS, используя следующий код:

final Configuration configuration = new Configuration(); 

configuration.set("fs.defaultFS", "hdfs://localhost:8020/user/training/"); 

FileSystem fileSystem = FileSystem.get(configuration); 
String filePath = "hdfs" + "://" + "localhost:8020" + "/user/training/test.txt"; 

File fileToProcess = new File(filePath); // path of file 
FileInputStream fis = new FileInputStream(fileToProcess); 

Последнее утверждение программы возвращается следующее исключение:

Exception in thread "main" java.io.FileNotFoundException: 
hdfs:/localhost:8020/user/training/test.txt (No such file or directory) 
at java.io.FileInputStream.open(Native Method) 
at java.io.FileInputStream.<init>(FileInputStream.java:120) 

Любая идея что может быть проблемой? Файл находится в этом месте. Единственное отличие, которое я мог заметить: хотя я поместил «//» в URL-адрес, последний оператор пропускает одну косую черту при создании входного потока.

Этот код вызывается из класса драйвера MR.

Answer 1

Tapan, Параметр конфигурации fs.defaultFS должен указывать только имя узла Namenode. Зато оно имеет значение самого каталога HDFS. Можете ли вы его удалить?

Answer 2

Configuration configuration = new Configuration(); 
FileSystem fs = FileSystem.get(new URI("hdfs://localhost:8020"), 
     configuration); 
Path path = new Path("hdfs://localhost:8020/user/training/test.txt"); 
System.out.println(fs.exists(path)); 
FSDataInputStream fin = fs.open(path);