reverse MapReduce order

Question

если для простой работы с картой, скажем, wordcount. Выход выходит отсортированным, есть ли способ, которым порядок будет выходить в обратном порядке (слова, начинающиеся с первого приближения Z) или любой другой индивидуальный порядок.

Answer 1

Look Koushik, Вы можете сделать это очень хорошо, но вам нужно настроить. Чтобы настроить ключ, вам необходимо реализовать WritableComparable или расширить класс WritableComparator для реализации методов compareTo() или compare() соответственно. У каждого метода есть свои плюсы и минусы, и за пределами вопроса вы спрашиваете, поэтому я не собираюсь этого делать.

Приближается к вашему вопросу.

Имея в виду соображения эффективности в процессе сериализации/Desirialization, которые имеют тенденцию вызывать сетевые издержки, я реализую метод compare(), который будет явно сортировать значения выходных ключей в порядке убывания. Ниже приводится определение метода, который вы можете пройти через ОТТ

public static class DescendingKey extends WritableComparator { 
    protected DescendingKey() { 
     super(Text.class, true); 
    } 

    @SuppressWarnings("rawtypes") 
    @Override 
    public int compare(WritableComparable w1, WritableComparable w2) { 
     LongWritable key1 = (LongWritable) w1; 
     LongWritable key2 = (LongWritable) w2;   
     return -1 * key1.compareTo(key2); 
    } 
} 

здесь гляньте на следующем «возвратного» заявление

return -1 * key1.compareTo(key2); -1 является единственным маркер или сказать операнд, который на самом деле инструмент для сортировки ключей в порядке убывания. Если вы меняете -1 на +1, похоже, обратное происходит, т. Е. Все данные сортируются в порядке возрастания. Вернитесь ко мне, если вы сомневаетесь в ответе.

спасибо :)