Hadoop вход сплит (MapV1)

Question

Проблема: Что такое вход разделить

• Как вход сплит рассчитывается в MapReduce v1?
• Является ли вход Split таким же, как размер блока HDFS?

Answer 1

Каждый размер разделенного входа обычно равен размеру блока HDFS. Например, для файла размером 1 ГБ будет 16 входных разрывов, если размер блока составляет 64 МБ. Однако размер разделения может быть меньше или больше, чем размер блока HDFS. В общем случае расчет входных расщеплений выполняется с помощью FileInputFormat.

Расчет размера входного раздельным делается в InputFileFormat как:

Math.max("mapred.min.split.size", Math.min("mapred.max.split.size", blockSize)); 

Некоторые примеры:

mapred.min.split.size mapred.max.split.size dfs.block.size Split Size 
1 (default)    Long.MAX_VALUE(default) 64MB(Default) 64MB 
1 (default)    Long.MAX_VALUE(default) 128MB   128MB 
128MB     Long.MAX_VALUE(default) 64MB   128MB 
1 (default)    32MB     64MB   32MB 

Для детального объяснения, вы можете просматривать here.