Возможно ли иметь несколько выходных файлов для уменьшения карты?

Question

В моем исходном файле у меня есть столбец как страна. Теперь моя задача - разместить записи определенной страны в отдельный файл, назвав его в этой стране. Возможно ли это сделать в Map-reduce.! Пожалуйста, поделитесь своими идеями относительно этого.

Answer 1

Да, в hadoop вы можете использовать MultipleOutputFormat, чтобы сделать именно это, используя его метод generateFileNameForKeyValue.

Использование названий вашей страны в качестве ключей и записей в качестве значений должно работать именно так, как вам нужно.

Answer 2

Если вы используете новый API, вы должны изучить класс MultipleOutputs. В этом классе есть пример.

шаблон Использование для представления работы:

 



    Job job = new Job(); 

    FileInputFormat.setInputPath(job, inDir); 
    FileOutputFormat.setOutputPath(job, outDir); 

    job.setMapperClass(MOMap.class); 
    job.setReducerClass(MOReduce.class); 
    ... 

    // Defines additional single text based output 'text' for the job 
    MultipleOutputs.addNamedOutput(job, "text", TextOutputFormat.class, 
    LongWritable.class, Text.class); 

    // Defines additional sequence-file based output 'sequence' for the job 
    MultipleOutputs.addNamedOutput(job, "seq", 
     SequenceFileOutputFormat.class, 
     LongWritable.class, Text.class); 
    ... 

    job.waitForCompletion(true); 
    ... 

Использование в Reducer:

 


    String generateFileName(K k, V v) { 
     return k.toString() + "_" + v.toString(); 
    } 

    public class MOReduce extends 
     Reducer { 
     private MultipleOutputs mos; 
     public void setup(Context context) { 
      ... 
       mos = new MultipleOutputs(context); 
      } 

     public void reduce(WritableComparable key, Iterator values, 
       Context context) 
       throws IOException { 
      ... 
    mos.write("text", , key, new Text("Hello")); 
    mos.write("seq", LongWritable(1), new Text("Bye"), "seq_a"); 
    mos.write("seq", LongWritable(2), key, new Text("Chau"), "seq_b"); 
    mos.write(key, new Text("value"), generateFileName(key, new Text("value"))); 
    ... 
     } 

    public void cleanup(Context) throws IOException { 
     mos.close(); 
    ... 
    } 
    }