Hadoop, как получить имя входного файла в OutputFormat

Question

У меня есть только работа с картой и пользовательский OutputFormat, который расширяет FileOutputFormat и хочет записывать выходные файлы с тем же именем (или слегка измененными) в качестве входных данных. Поэтому мне нужно получить имя файла в моем пользовательском RecordWriter. Я знаю, что это возможно в Mapper с помощью этого кода:

FileSplit fileSplit = (FileSplit)context.getInputSplit(); 
String filename = fileSplit.getPath().getName(); 

Но понятия не имею, как передать имя файла из картографа в мой RecordWriter.

Answer 1

Вы должны использовать MultipleOutputFormat, как описано here

Вам необходимо передать нужное имя файла строку из картографа к редуктору, используя объект контекста/конфигурации.