hadoop - Уменьшение карты на нескольких кластере

Question

Я настроил кластер Hadoop. И им с двумя машинами MA и MB Когда я запустить программу MapReduce, используя следующий код

hadoop jar /HDP/hadoop-1.2.0.1.3.0.0-0380/contrib/streaming/hadoop-streaming-1.2.0.1.3.0.0-0380.jar -mapper "python C:\Python33\mapper.py" -reducer "python C:\Python33\redu.py" -input "/user/XXXX/input/input.txt" -output "/user/XXXX/output/out20131112_09" 

где: картографа - C: \ Python33 \ mapper.py и восстановитель C: \ Python33 \ redu.py в локальном диске MB в

UPDATE

Наконец я отследил вниз по ошибке.

MA- журнал ошибок

stderr logs 
python: can't open file 'C:\Python33\mapper.py': [Errno 2] No such file or directory 
java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 2 

картографа - C: \ Python33 \ mapper.py и восстановитель C: \ Python33 \ redu.py в локальном диске ОЭ и не в MB

Теперь мне нужно скопировать мой м/г программы для MA или как должен я решить эту

Mapper ли

import sys 
for line in sys.stdin: 
    line = line.strip() 
    keys = line.split() 
    for key in keys: 
     value = 1 
     print('%s \t %d' % (key, value)) 

Answer 1

Если входной файл карты меньше, чем dfs.block.size то закончится только с одной задачи на задание выполняется. Для небольших входов вы можете заставить Hadoop выполнять несколько задач с mapred.max.split.size значением в байтах меньше dfs.block.size.