как добавить Maven путь к классам при подаче задания Hadoop в узел Hadoop

Question

У меня есть j2ee проект, управляемый мавена, у меня есть узел Hadoop в локальной машине, отправить мой Hadoop работу с кодом Configuration conf = new Configuration(); conf.set("baseFileLocation", baseFileLocation); conf.set("fs.default.name", "hdfs://localhost:9000");
conf.set("hadoop.job.user","pin"); conf.set("mapred.job.tracker","localhost:9001"); ToolRunner.run(conf,new LDAJob(), ldaArgs);

но я получил некоторое ClassNotFoundexception после отправки задания. Затем я добавляю баны зависимостей в $ HADOOP_PREFIX/libexec/lib /, и работа была наконец завершена. Банки зависимостями все в локальном хранилище Maven, и репозиторий Maven уже в пути к классам, что я должен делать, если я хочу Hadoop, чтобы знать, где банки зависимостей являются исключением добавления банки зависимостей в $ HADOOP_PREFIX/libexec/Библиотека/

Answer 1

возможно, вы можете построить мягкие ссылки в $ HADOOP_PREFIX/libexec/lib /, которые указывают на ваш путь репозитория maven.

Если вы используете затмение, вы можете добавить репозитории Maven пути к пути сборки проекта:

window->preferences->java->Build Path->ClassPath Variable 

создать M2_REPO = ваше хранилище пути