Ящики для hadoop mapreduce

Я следую this hadoop mapreduce tutorial от Apache. код Java приведенные там использует эти классы Apache Hadoop-:Ящики для hadoop mapreduce

import org.apache.hadoop.conf.Configuration; 
import org.apache.hadoop.fs.Path; 
import org.apache.hadoop.io.IntWritable; 
import org.apache.hadoop.io.Text; 
import org.apache.hadoop.mapreduce.Job; 
import org.apache.hadoop.mapreduce.Mapper; 
import org.apache.hadoop.mapreduce.Reducer; 
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; 
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

Но я не мог понять, где скачать эти Баночки с. При поиске в Интернете для этих классов я видел, что они доступны here.

Но что такое формальный/аутентичный репозиторий Apache для этих и Jars?

Если банки поставляются вместе с хаопом, пожалуйста, дайте мне знать путь.

EDIT: Другой вопрос не дает четких инструкций. я нашел ответ следующим образом

This tutorial упоминает:

Скачать Hadoop-ядро-1.2.1.jar, который используется для компиляции и выполнения программы MapReduce. Перейдите по следующей ссылке http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-core/1.2.1, чтобы загрузить банку.

Так что это выглядит как аутентичный репозиторий.

источник

2015-08-06 Kaushik Lele

попытайтесь загрузить распределение Hadoop из https://hadoop.apache.org/releases.html и проверьте его в папке lib – DesirePRG

Возможный дубликат [Как импортировать зависимости org.apache Java или W/O Maven] (http: // stackoverflow.com/questions/11345923/how-to-import-org-apache-java-dependencies-w-or-w-o-maven) –

This tutorial упоминает:

Скачать Hadoop-ядро-1.2.1.jar, который используется для компиляции и выполнения программы MapReduce. Перейдите по следующей ссылке http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-core/1.2.1, чтобы загрузить банку.

Так here вы можете найти все банки для разных версий

источник

2015-08-06 12:07:37

Учебное пособие, которое вы используете, использует Hadoop 1.0. Это означает, что банки, которые у вас есть, и те, которые используются в учебнике, различны. Если вы используете Hadoop 2.X, следуйте инструкциям, в которых используется именно эта версия. Вам не нужно загружать банки третьей стороной, вам просто нужно знать правильное использование API этой конкретной версии hadoop.

источник

2015-08-06 10:52:54 Reda

Я имею в виду этот учебник из «Apache Hadoop 2.7.1», –

Использование NetBeans Я создаю новый проект Maven.

Затем в файлах проекта я открываю pom.xml.

добавить внутри

<dependency> 
     <groupId>org.apache.hadoop</groupId> 
     <artifactId>hadoop-core</artifactId> 
     <version>0.20.2</version> 
    </dependency>

После построения с зависимостями Теперь я готов к коду.

источник

2015-08-06 10:55:53

С текущей версии 2.7.1, я спотыкался на Missing artifact org.apache.hadoop:hadoop-mapreduce:jar:2.7.1, но выяснилось, что эта баночка, кажется, быть разделены на различные мелкие.

<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-common</artifactId> 
    <version>2.7.1</version> 
</dependency> 

<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-mapreduce-client-common</artifactId> 
    <version>2.7.1</version> 
</dependency>

... работал для меня (... нет понятия, что это означало для: https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-mapreduce/2.7.1/)

источник

2015-09-04 18:33:34

Ящики для hadoop mapreduce

ответ

Смежные вопросы