MapReduce Индивидуальная обработка нескольких входных файлов

Question

Просьба уточнить

У меня есть набор входных файлов (скажем, 10) с определенными именами. Я запускаю задачу подсчета слов во всех файлах одновременно (путь ввода - это папка). Я ожидаю 10 выходных файлов с теми же именами, что и входные файлы. То есть Вход File1 должен быть подсчитан и должен храниться в отдельном выходном файле с именем «file1». И так далее ко всем файлам.

Answer 1

Есть 2 подхода, которые можно предпринять для достижения нескольких выходов

класс

1. Использование MultipleOutputs - передать этот документ для получения информации о multipleclassoutput (https://hadoop.apache.org/docs/r2.6.3/api/org/apache/hadoop/mapreduce/lib/output/MultipleOutputs.html), для получения дополнительной информации о том, как реализовать см это http://appsintheopen.com/posts/44-map-reduce-multiple-outputs

2. Другой вариант - использование LazyOuputFormat, однако это используется в сочетании с несколькими выходами, для получения дополнительной информации о его реализации см. Это (https://ssmolen.wordpress.com/2014/07/09/hadoop-mapreduce-write-output-to-multiple-directories-depending-on-the-reduce-key/).

Я чувствую, что использование LazyOutputFormat в сочетании с классом MultipleOuputs - лучший подход.

Answer 2

1. Задайте количество задач уменьшения, равное количеству входных файлов. Это также создаст заданное количество выходных файлов.

2. Добавить префикс файла для каждой клавиши вывода карты (слово). Например, когда вы встречаете слово «cat» в файле с именем «file0.txt», вы можете испускать ключ «0_cat» или «file0_cat» или что-то еще, что уникально для «file0.txt». Используйте контекст, чтобы получать каждый раз имя файла.

3. Переопределите разделитель по умолчанию, чтобы все ключи вывода карты с префиксом «0_» или «file0_» переходили в первый раздел, все ключи с префиксом «1_» или «файл1_» будут перейдите ко второму и т. д.

4. В редукторе удалите префикс «x_» или «filex_» из выходного ключа и используйте его как имя выходного файла (используя MultipleOutputs). В противном случае, если вы не хотите MultipleOutputs, вы можете легко выполнить сопоставление между выходными файлами и входными файлами, проверив код Partitioner. (Например, часть-00000 будет Перегородка 0 в выходной)