Мне нужно прочитать 2 разных входных файла и записать 2 выходных файла. Первый файл - основной входной файл, второй - словарь. Моя работа должна обрабатывать оба файла одновременно в mapper, а также в редукторах. Как я понял, я не могу использовать multiinput. Я пробовал использовать BufferedReader и BufferedWriter. Но потом я создал другую работу в mapper и другую работу в редукторе. Как я могу решить проблему?Чтение 2 входных файлов в hadoop mapreduce
Вы можете использовать несколько входных файлов, см. http://hadoop.apache.org/docs/stable/api/org/apache/hadoop/mapred/lib/MultipleInputs.html.
MultipleInputs.addInputPath(job, inputPath1, TextInputFormat.class, MyMapper.class);
MultipleInputs.addInputPath(job, inputPath2, TextInputFormat.class, MyMapper.class);
Вы можете иметь более одного файл в inputPath1, inputPath2 ..
Если размер вашего второго файла меньше, вы можете использовать распределенный кэш и использовать файл в картографах для обработки. См. http://hadoop.apache.org/docs/stable/api/org/apache/hadoop/filecache/DistributedCache.html