Hadoop 2.2 и Maven

Я хотел переключиться с Hadoop 1.2.1 на Hadoop 2.2. В моем проекте я использую Maven и он может обрабатыватьHadoop 2.2 и Maven

<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-core</artifactId> 
    <version>1.2.1</version> 
</dependency>

woithout каких-либо проблем, однако изменения версии 2.2 в не работает, как он не доступен в центральном хранилище Maven.

Любые идеи, как я могу включить Hadoop 2.2. в моем проекте maven-ized?

источник

2013-11-08 Jakub

Большинство Hadoop сердцевиной зависимостей могут быть найдены в Hadoop-клиенте:

<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-client</artifactId> 
    <version>2.2.0</version> 
</dependency>

источник

2013-11-08 10:23:11

Действительно ли это работает? Если я попробую, я получу «Невозможность найти org.apache.hadoop: hadoop-main: jar: 2.2.0», что действительно верно, поскольку hasoop-main - это только проект pom. – fikovnik

Да, вы правы. Hadoop-main - только проект родительского пом. Похоже, новая рекомендация заключается в использовании артефакта hasoop-client вместо hasoop-core. Обновлено. –

Я тоже застрял с Hadoop 2 и maven. Так созданный рабочий на GitHub https://github.com/alexcpn/WordCountHadoop2. Это также имеет пример теста Hadoop JUnit с использованием MRUnit и его зависимости от maven. Весь исходный код в основном из примера примера WordCount и примера модульного тестирования –

Для Hadoop 2.2.0, соответствующее имя пакета должно быть следующим (2014.05.27):

<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-common</artifactId> 
    <version>2.2.0</version> 
</dependency> 
<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-mapreduce-client-core</artifactId> 
    <version>2.2.0</version> 
</dependency> 
<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-hdfs</artifactId> 
    <version>2.2.0</version> 
</dependency>

ссылка:
http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common/2.2.0
http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-client-core/2.2.0
http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs/2.2.0

источник

2014-05-27 09:58:39 zeekvfu

Замена ответа Ion Cojocaru на ваш ответ заставляет мою компиляцию с этим сообщением: 'ClassNotFoundException: org.apache.hadoop .hdfs.DistributedFileSystem' – fxm

@fxm Я обновил свой ответ и добавил поддержку 'hadoop-hdfs'. – zeekvfu

это работает: D thx –

Hadoop 2.2 и Maven

ответ

Смежные вопросы