Как написать partioner в таком случае для hadoop?

Question

У меня есть ключ, как «подпись [white space] date [white space] time», но я хочу, чтобы все клавиши имели одну и ту же подпись в одном и том же ящике. Как написать участника за такую ​​ситуацию?

С наилучшими пожеланиями,

Answer 1

По умолчанию HashParititioner используется, и весь хэш-код используется для вычисления числа редуктора. Для достижения своей цели вы можете использовать только часть вашего ключа (подпись в вашем случае), и все ключи с одинаковой подписью будут назначены одному и тому же редуктору.

Попробуйте этот код:

public class HashPartitioner<K, V> extends Partitioner<K, V> { 

    public int getPartition(K key, V value,int numReduceTasks) { 

     return key.toString().split("\s+")[0].hashCode() % numReduceTasks; 
    } 
}