Hadoop 2.2.0 Конфигурация устаревания

Question

Я настроил кластер Hadoop 2.2.0 и теперь запускаю свой java-клиент для обработки данных. После запуска моей Java программы, я замечаю выходные дисплеи, как это:

13/11/18 11:44:44 INFO Configuration.deprecation: user.name is deprecated. Instead, use mapreduce.job.user.name 
13/11/18 11:44:44 INFO Configuration.deprecation: mapred.jar is deprecated. Instead, use mapreduce.job.jar 
13/11/18 11:44:44 INFO Configuration.deprecation: mapred.output.value.class is deprecated. Instead, use mapreduce.job.output.value.class 
13/11/18 11:44:44 INFO Configuration.deprecation: mapreduce.combine.class is deprecated. Instead, use mapreduce.job.combine.class 
13/11/18 11:44:44 INFO Configuration.deprecation: mapreduce.map.class is deprecated. Instead, use mapreduce.job.map.class 
13/11/18 11:44:44 INFO Configuration.deprecation: mapred.job.name is deprecated. Instead, use mapreduce.job.name 
13/11/18 11:44:44 INFO Configuration.deprecation: mapred.textoutputformat.separator is deprecated. Instead, use mapreduce.output.textoutputformat.separator 
13/11/18 11:44:44 INFO Configuration.deprecation: mapreduce.reduce.class is deprecated. Instead, use mapreduce.job.reduce.class 
13/11/18 11:44:44 INFO Configuration.deprecation: mapred.input.dir is deprecated. Instead, use mapreduce.input.fileinputformat.inputdir 
13/11/18 11:44:44 INFO Configuration.deprecation: mapred.output.dir is deprecated. Instead, use mapreduce.output.fileoutputformat.outputdir 
13/11/18 11:44:44 INFO Configuration.deprecation: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps 
13/11/18 11:44:44 INFO Configuration.deprecation: mapred.output.key.class is deprecated. Instead, use mapreduce.job.output.key.class 
13/11/18 11:44:44 INFO Configuration.deprecation: mapred.working.dir is deprecated. Instead, use mapreduce.job.working.dir 

Модуль работает хорошо и выглядит, что ничего не влияет. Но как я могу избежать этих информационных сообщений? (Я импортирую maven hadoop-client 2.2.0 и использую Job job = new Job())

Answer 1

Большинство из-за изменения API Hadoop - весь пакет «mapred» перемещен в «mapreduce». Вы можете изменить, где вы импортируете «org.apache.hadoop.mapred» в «org.apache.hadoop.mapreduce», чтобы избежать такой информации. Вы могли бы сделать аналогичные изменения для некоторых других сообщений, таких как

13/11/18 11:44:44 INFO Configuration.deprecation: user.name is deprecated. Instead, use mapreduce.job.user.name 

Answer 2

Устаревших означает, что этот API, все еще там, но они будут удалены в будущих версиях. Пропущенное пространство имен устарело, и для его замены добавлено новое пространство имен mapreduce.

Как сообщалось в информационных сообщениях и Zhutoulala, если вы хотите их избежать, вам нужно использовать новый API вместо старого. Новый API - org.apache.hadoop.mapreduce. Кстати, «новый» API есть с 2009 года Вы можете увидеть this presentation для изменения

Answer 3

Это исправленное в Hadoop 2.3 см: https://issues.apache.org/jira/browse/HADOOP-10178