HbaseTestingUtility и MapReduce Job

Question

Я пытаюсь запустить тест, используя HbaseTestingUtility, на самом базовом картографе, который расширяет TableMapper. В моем тестовом классе я запускаю MiniCluster с помощью utility.startMiniCluster() и создаю тестовую таблицу, используя utility.createTable(tablename_bytes, familyname_bytes) в методе настройки.

Тогда я Запуск картографа с помощью:

Job job = new Job(utility.getConfiguration()); //Job.getInstance(); 
TableMapReduceUtil.initTableMapperJob(tableName, new Scan(),MyBasicHbaseMapper.class,Text.class, Text.class, job); 
job.waitForCompletion(true); 

Это ошибка, я получаю:

java.io.FileNotFoundException: File does not exist: hdfs://localhost:57276/Users/user1/.m2/repository/org/cloudera/htrace/htrace-core/2.04/htrace-core-2.04.jar 

Этот файл банку в ~/.m2/repository/org/cloudera/htrace/htrace-core/2.04/htrace-core-2.04.jar.

Что я делаю неправильно?

Answer 1

я столкнулся с подобной проблемой, и после того, как стучал головой о нем в течение нескольких часов, наконец, понял, что решение ...

Сразу после вызова:

utility.startMiniCluster(); 

Invoke:

utility.startMiniMapReduceCluster(); 

Метод #startMiniCluster запускает только мини-эффекты HBase, HDFS и Zookeeper. Запуск мини-кластера MapReduce требует #startMiniMapReduceCluster !!

Кстати, после того, как ваша обработка теста закончена, обязательно вызовите:

utility.shutdownMiniMapReduceCluster(); 
utility.shutdownMiniCluster();