Может ли картограф знать, сколько сканеров работает?

Question

В растровой картой Hasoop Map-Reduce, когда приложение работает, можно узнать количество работающих в программе работников. Количество работников одинаково, как и количество разделов файлов, так, другими словами, можно ли узнать количество разделов файлов динамически?

Answer 1

Общее количество задач карты и задач редуктора, составляющих задание, можно запросить с помощью свойств конфигурации mapred.map.tasks и mared.reduce.tasks (после того, как ваша работа была отправлена).

Если посмотреть через источник, вы можете увидеть это быть установлены в org.apache.hadoop.mapred.JobClient:784 (да и это же число разделений)

// Create the splits for the job 
LOG.debug("Creating splits at " + fs.makeQualified(submitSplitFile)); 
int maps; 
if (job.getUseNewMapper()) { 
    maps = writeNewSplits(context, submitSplitFile); 
} else { 
    maps = writeOldSplits(job, submitSplitFile); 
} 
job.set("mapred.job.split.file", submitSplitFile.toString()); 
job.setNumMapTasks(maps); // here is where mapred.map.tasks is set