Hadoop, MapReduce - несколько путей ввода/вывода

Question

В моем файле ввода при создании Jar для моего задания MapReduce я использую команду Hadoop-local. Я хотел знать, был ли способ, а не конкретно указывать путь для каждого файла в моей папке ввода, который будет использоваться в задании MapReduce, могу ли я просто указать и передать все файлы из моей папки ввода. Это связано с тем, что содержимое и количество файлов могут измениться из-за характера заданий MapReduce, которые я пытаюсь настроить, и поскольку я не знаю конкретного количества файлов, кроме только содержимого этих файлов, есть способ передать все файлы из входной папки в мою программу MapReduce, а затем перебрать каждый файл, чтобы вычислить определенную функцию, которая затем отправит результаты в редуктор. Я использую только одну программу Map/Reduce, и я кодирую на Java. Я могу использовать команду hadoop-moonshot, но сейчас я работаю с хаосом-локальным.

Спасибо.

Answer 1

Вам не нужно передавать отдельные файлы в качестве входных данных для MapReduce Работа.

FileInputFormat класс уже предоставляет API для приема списка нескольких файлов в качестве ввода в карту. Сокращение программы.

public static void setInputPaths(Job job, 
       Path... inputPaths) 
          throws IOException 

Добавить путь в список входов для работы на карте-свертка. Параметры:

конф - Конфигурация задания

путь - Путь будет добавлен в список входов для работы на карте-свертка.

Пример кода от Apache tutorial

Job job = Job.getInstance(conf, "word count"); 
FileInputFormat.addInputPath(job, new Path(args[0])); 

MultipleInputs обеспечивает ниже API.

public static void addInputPath(Job job, 
       Path path, 
       Class<? extends InputFormat> inputFormatClass, 
       Class<? extends Mapper> mapperClass) 

Добавить путь с пользовательским InputFormat и Mapper в список входов для работы на карте-свертка.

Связанные SE вопрос:

Can hadoop take input from multiple directories and files

Обратитесь к MultipleOutputs API относительно вашего второго запроса на несколько путей выхода.

FileOutputFormat.setOutputPath(job, outDir); 

// Defines additional single text based output 'text' for the job 
MultipleOutputs.addNamedOutput(job, "text", TextOutputFormat.class, 
LongWritable.class, Text.class); 

// Defines additional sequence-file based output 'sequence' for the job 
MultipleOutputs.addNamedOutput(job, "seq", 
SequenceFileOutputFormat.class, 
LongWritable.class, Text.class); 

Посмотрите на связанные вопросы SE относительно нескольких выходных файлов.

Writing to multiple folders in hadoop?

hadoop method to send output to multiple directories