Использование нескольких локальных папок в качестве источника в hasoop mapreduce job

Question

У меня есть данные в нескольких локальных папках i.e./usr/bigboss/data1,/usr/bigboss/data2 и еще много папок. Я хочу использовать все эти папки в качестве источника ввода для моей команды MapReduce и сохранять результат в HDFS. Я не могу найти рабочую команду для использования примера Hadoop Grep для этого.

Answer 1

Данные должны быть размещены в HDFS, чтобы вы могли обработать его с помощью примера grep. Вы можете загрузить папки HDFS с помощью -Положите команды FsShell:

hadoop fs -mkdir bigboss 
hadoop fs -put /usr/bigboss/data* bigboss 

Который создаст папку в текущей пользовательской директории HDFS, и загрузить каждый из этих каталогов данных для его

Теперь вы должны быть способный запускать пример grep по данным