Объединить вывод карты для каталога в один файл

Question

У меня есть требование, когда мне нужно объединить вывод картографических файлов каталога в один файл. Допустим, у меня есть каталог A, который содержит 3 файла.

../A/1.txt ../A/2.txt ../A/3.txt

мне нужно запустить картограф обрабатывать эти файлы, которые изгоняются генерируют один выходной файл , Я ЗНАЮ, ЧТО ПОСЛЕДУЮЩИЙ БУДЕТ, ЧТО, НО Я НЕ ХОЧУ ИСПОЛЬЗОВАТЬ ЛОГИКУ REDUCER.

        OR 

Могу ли я иметь только один обработчик для обработки всех файлов в каталоге.

Answer 1

Если вы настроили плавкий предохранитель для монтирования HDFS в локальный каталог, то ваш выход может быть смонтированной файловой системой.

Например, у меня есть HDFS, установленный на /mnt/hdfs локально. Я выполнить следующую команду и он прекрасно работает:

Hadoop фс -getmerge/отчеты/some_output /mnt/hdfs/reports/some_output.txt

Конечно, есть и другие причины, чтобы использовать предохранитель для установки HDFS в локальный каталог, но это был хороший побочный эффект для нас.

Answer 2

Могу ли я иметь только один обработчик для обработки всех файлов в каталоге.

Вы изучали CombinedFileInputFormat? Felix Ren-Chyan Chern пишет о его настройке в деталях.