Я очень новичок в программе mapreduce. Я слежу за Tom white Hadoop Definitive guide.I делаю программу данных о погоде, в которой я хочу найти максимальную температуру в год. У меня есть 4 файла за год 1901, 1902, 1904, 1905, один файл в год (я сделал один файл в год).Несколько файлов в mapreduce
Как установить четыре входных файла в программу преобразования карт. Hadoop устанавливается в псевдораспределенном режиме. Пожалуйста, помогите мне.
Если вы используете hadoop streaming, попробуйте следующее:
$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \
-input myInputDirs \
-output myOutputDir \
-mapper mapper \
-reducer reducer
Поместите файлы в директорию ввода будет решить вашу проблему.
Hadoop собирает все файлы из каталога ввода. Поэтому, если вы поместите все файлы в каталог ввода, все будет выбрано. Вы также можете установить несколько путей ввода в своем классе драйвера.
FileInputFormat.setInputPaths (job, commaSeparatedPaths);