множественный выход файла в hadoop mapreduce streaming

Question

Im используя карту hadoop и уменьшите программу. И мне нужно прочитать несколько файлов и выводит его на несколько файлов

Пример

Input \ one.txt 
     two.txt 
     three.txt 

Output \ 
     one_out.txt 
     two_out.txt 

мне нужно, чтобы получить некоторые вещи, как это. Как я могу это достичь.

Пожалуйста, помогите мне

Благодаря

Answer 1

• Если размер файла мал, вы можете просто использовать FileInputFormat и Hadoop будет внутренне икра отдельной задачи картостроитель для каждого файла, который будет в конечном итоге сгенерировать выходной файл для соответствующего входного файла (если не задействованы редукторы).
• Если файл огромен, вам нужно написать настраиваемый формат и указать isSplittable(false). Это гарантирует, что hasoop не разложит ваш файл через mappers и не будет генерировать несколько выходных файлов на входной файл