Нет FileSystem для схемы: null

Question

Я пытаюсь запустить jar (проект maven) с помощью «hadoop -jar», и я получаю сообщение об ошибке «No FileSystem for scheme». Я читал об этой ошибке в stackoverflow и кажется, что проблема находится внутри META-INF/services/org.apache.hadoop.fs.FileSystem. Шахта выглядит так:

org.apache.hadoop.fs.LocalFileSystem 
org.apache.hadoop.fs.viewfs.ViewFileSystem 
org.apache.hadoop.fs.ftp.FTPFileSystem 
org.apache.hadoop.fs.HarFileSystem 

Линии HDFS отсутствуют. Это часть моего кода:

public int run(String[] args) throws Exception { 
    Configuration conf=getConf(); conf.set("fs.hdfs.impl",org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());  conf.set("fs.file.impl",org.apache.hadoop.fs.LocalFileSystem.class.getName()); 
     args = new GenericOptionsParser(conf, args).getRemainingArgs();  
    Job job = Job.getInstance(conf,"Count"); 
    job.setInputFormatClass(ImageBundleInputFormat.class); 
    job.setMapperClass(CountMapper.class); 
    job.setReducerClass(CountReducer.class); 
    job.setMapOutputKeyClass(IntWritable.class); 
    job.setMapOutputValueClass(IntWritable.class); 
    job.setOutputKeyClass(IntWritable.class); 
    job.setOutputValueClass(Text.class); 
    FileInputFormat.setInputPaths(job, new Path(args[0])); 
    FileOutputFormat.setOutputPath(job, new Path(args[1])); 
    job.addCacheFile(new URI("//path/lbpcascade_frontalcatface.xml")); 
    job.setJarByClass(Count.class); 
    boolean success = job.waitForCompletion(true); 
    return success ? 0 : 1; 
    } 

public static void main(String[] args) throws Exception { 


     ToolRunner.run(new Count(), args); 
     System.exit(0); 
    } 

Ошибка в строке булевой успех = job.waitForCompletion (истина); Любая помощь будет оценена по достоинству. Спасибо! :)

Answer 1

Вам не нужно указывать реализации файловой системы в вашей работе, если вы не захотите что-то переопределить.

Где хранятся файлы конфигурации кластера? (hdfs-site.xml, core-site.xml и т. д.)

Убедитесь, что переменная окружения HADOOP_CONF_DIR указана для них, и они настроены правильно.

Какая у вас конфигурация для fs.defaultFS property?