MapReduce output как ArrayList

Question

Как вызвать метод сокращения карты в нормальном проекте java и можно ли вернуть результат редуктора как Arraylist/Hashmap вместо плоского файла и как получить доступ к методу mapreduce из jboss appServer.

Answer 1

Вот пример программы, которая использует MultipleOutput

public void reduce(Text key, Iterator<IntWritable> values, 
      OutputCollector<Text, IntWritable> output, Reporter reporter) 
      throws IOException { 
     int total = 0; 
      for (; values.hasNext();) { 
      total += values.next().get(); 
      mos.getCollector("text", reporter).collect(key, 
        new IntWritable(total)); 
      mos.getCollector("seq", reporter).collect(key, 
        new IntWritable(total)); 
     } 

    } 

Вы должны были бы создать экземпляр MultipleOutputs в методе конфигурирования.

private MultipleOutputs mos; 

    @Override 
    public void configure(JobConf job) { 

     mos = new MultipleOutputs(job); 
    } 

В вашем классе драйверов вам необходимо указать, какие все форматы ввода вы хотите использовать. Ниже будет генерироваться ваш результат в форматах файлов Text и Sequence.

// Defines additional single text based output 'text' for the job 
    MultipleOutputs.addNamedOutput(conf, "text", TextOutputFormat.class, 
      Text.class, IntWritable.class); 

    // Defines additional sequence-file based output 'sequence' for the job 
    MultipleOutputs.addNamedOutput(conf, "seq", 
      SequenceFileOutputFormat.class, Text.class, IntWritable.class); 

Но из того, что я понял из вашего вопроса, вы в основном хотите получить доступ к вашему выходному файлу mapreduce из своего кода. Вы можете загрузить выходной файл с помощью HDFS API. Но лучше было бы поместить ваши данные в таблицу Hive и получить доступ с помощью JDBC.