Не удается получить доступ к HDFS через API Java (Cloudera-CDH4.4.0)

Question

Я пытаюсь получить доступ к своей HDFS с помощью Java-кода, но я не могу заставить его работать ... через 2 дня борьбы Я думаю, что пришло время попросить помощи.

Это мой код:

Configuration conf = new Configuration();   
conf.addResource(new Path("/HADOOP_HOME/conf/core-site.xml")); 
conf.addResource(new Path("/HADOOP_HOME/conf/hdfs-site.xml")); 
FileSystem hdfs = FileSystem.get(conf); 

boolean success = hdfs.mkdirs(new Path("/user/cloudera/testdirectory")); 
System.out.println(success); 

Я получил этот код из here и here. К сожалению, объект hdfs - это объект «LocalFileSystem», поэтому что-то должно быть неправильно. Похоже, это именно то, что Rejeev написал на своем сайте:

[...] If you do not assign the configurations to conf object (using hadoop xml file) your HDFS operation will be performed on the local file system and not on the HDFS. [...]

С абсолютными путями я получаю тот же результат.

conf.addResource(new Path("/etc/hadoop/conf/core-site.xml")) 

Это libary настоящее время я использую:

hadoop-core-2.0.0-mr1-cdh4.4.0.jar

Я слышал, что Hadoop-ядро было разделено на несколько LIBS, поэтому я также попытался следующие ЛИЭС:

hadoop-common-2.0.0-alpha.jar

hadoop-mapreduce-client-core-2.0.2-alpha.jar

Я использую Cloudera-CDH4.4.0, поэтому hasoop уже установлен. Через консоль все работает нормально. Например:

hadoop fs -mkdir testdirectory 

Так что все должно быть правильно настроен, как по-умолчанию.

Я надеюсь, что вы, ребята, можете мне помочь ... этот материал заводит меня в орехи! С такой простой задачей очень сложно терпеть неудачу.

Большое спасибо за любую помощь.

Answer 1

1) Вам не нужно conf.addResource, если вы не отвергая любые переменные конфигурации.

2) Надеюсь, вы создаете файл Jar и запускаете файл jar в окне команд, а не в eclipse. Если вы выполните в eclipse, он будет выполняться в локальной файловой системе.

3) Я побежал под кодом, и это сработало.

public class Hmkdirs { 
public static void main(String[] args) 
     throws IOException 
     { 
Configuration conf = new Configuration(); 
FileSystem fs = FileSystem.get(conf); 
boolean success = fs.mkdirs(new Path("/user/cloudera/testdirectory1")); 
System.out.println(success); 
     } 

}

4) Для того, чтобы выполнить, необходимо создать файл банка, вы можете сделать это либо из затмения или командная строка и выполнить файл JAR.

пример командной строке баночка файл:

Javac -classpath /usr/local/hadoop/hadoop-core-1.2.1.jar:/usr/local/hadoop/lib/commons-cli-1.2.jar -d классы WordCount.java & & jar -cvf WordCount.jar -C classes /.

Выполнение jar-файла через hasoop в командной строке.

Hadoop баночка hadoopfile.jar hadoop.sample.fileaccess.Hmkdirs

hadoop.sample.fileaccess является пакет, в котором есть мой класс Hmkdirs. Если ваш класс существует в пакете по умолчанию, вам не нужно его указывать, просто класс в порядке.

---

Обновление: вы можете выполнить затмение и получить доступ к hdfs, проверьте код ниже.

public class HmkdirsFromEclipse { 

public static void main(String[] args) 

     throws IOException 
     { 
Configuration conf = new Configuration(); 
conf.addResource("/etc/hadoop/conf/core-site.xml"); 
conf.addResource("/etc/hadoop/conf/hdfs-site.xml"); 
conf.set("fs.defaultFS", "hdfs://quickstart.cloudera:8020/"); 
conf.set("hadoop.job.ugi", "cloudera"); 
conf.set("fs.hdfs.impl", org.apache.hadoop.hdfs.DistributedFileSystem.class.getName()); 
FileSystem fs = FileSystem.get(conf); 
boolean success = fs.mkdirs(new Path("/user/cloudera/testdirectory9")); 
System.out.println(success); 
     } 

}

Answer 2

Попробуйте это:

conf.set("fs.defaultFS", "file:///"); conf.set("mapreduce.framework.name", "local");

Answer 3

Это действительно сложный бит конфигурации, но это, по существу, что вам нужно сделать:

Configuration conf = new Configuration(); 
    conf.addResource("/etc/hadoop/conf/core-site.xml"); 
    conf.addResource("/etc/hadoop/conf/hdfs-site.xml"); 
    conf.set("fs.defaultFS", hdfs://[your namenode]); 
    conf.set("hadoop.job.ugi", [your user] 
    conf.set("fs.hdfs.impl", org.apache.hadoop.hdfs.DistributedFileSystem.class.getName()); 

убедитесь, что у вас есть Hadoop-HDFS в вашем пути к классам, тоже ,