2014-05-19 5 views
4

Я следовал this tutorial для создания Apache Hadoop в среде Windows 7. Чтобы сократить длинный рассказ короткий. Я могу скомпилировать Hadoop с mvn compile команды и могу создавать пакеты с mvn -package -DskipTestsСтроительство Hadoop на Windows 7

Однако я не могу mvn package -Pdist,native-win -DskipTests -Dtar я получаю исключение ввода/вывода и не в состоянии решить эти исключения. Я не получаю эти исключения при построении Hadoop без -Dtar параметр

Может ли кто-нибудь помочь мне в разрешении этих исключений?

[INFO] Executing tasks 
main: 
     [get] Destination already exists (skipping): C:\hadoop\hadoop-hdfs- project\hadoop-hdfs-httpfs\downloads\tomcat.tar.gz 
    [mkdir] Created dir: C:\hadoop\hadoop-hdfs-project\hadoop-hdfs-httpfs\target\tomcat.exp 
[exec] tar (child): C\:hadoophadoop-hdfs-projecthadoop-hdfs-httpfs/downloads/tomcat.tar.gz: Cannot open: I/O error 
[exec] tar (child): Error is not recoverable: exiting now 
[exec] 
[exec] gzip: stdin: unexpected end of file 
[exec] tar: Child returned status 2 
[exec] tar: Error exit delayed from previous errors 
[INFO] ------------------------------------------------------------------------ 
[INFO] Reactor Summary: 
[INFO] 
[INFO] Apache Hadoop Main ................................ SUCCESS [ 1.018 s] 
[INFO] Apache Hadoop Project POM ......................... SUCCESS [ 1.653 s] 
[INFO] Apache Hadoop Annotations ......................... SUCCESS [ 2.181 s] 
[INFO] Apache Hadoop Assemblies .......................... SUCCESS [ 0.200 s] 
[INFO] Apache Hadoop Project Dist POM .................... SUCCESS [ 2.889 s] 
[INFO] Apache Hadoop Auth ................................ SUCCESS [ 1.957 s] 
[INFO] Apache Hadoop Auth Examples ....................... SUCCESS [ 1.570 s] 
[INFO] Apache Hadoop Common .............................. SUCCESS [ 50.085 s] 
[INFO] Apache Hadoop Common Project ...................... SUCCESS [ 0.090 s] 
[INFO] Apache Hadoop HDFS ................................ SUCCESS [ 35.510 s] 
[INFO] Apache Hadoop HttpFS .............................. FAILURE [ 5.155 s] 
[INFO] Apache Hadoop HDFS Project ........................ SKIPPED 
[INFO] hadoop-yarn ....................................... SKIPPED 
[INFO] hadoop-yarn-api ................................... SKIPPED 
[INFO] hadoop-yarn-common ................................ SKIPPED 
[INFO] hadoop-yarn-server ................................ SKIPPED 
[INFO] hadoop-yarn-server-common ......................... SKIPPED 
[INFO] hadoop-yarn-server-nodemanager .................... SKIPPED 
[INFO] hadoop-yarn-server-web-proxy ...................... SKIPPED 
[INFO] hadoop-yarn-server-resourcemanager ................ SKIPPED 
[INFO] hadoop-yarn-server-tests .......................... SKIPPED 
[INFO] hadoop-yarn-client ................................ SKIPPED 
[INFO] hadoop-mapreduce-client ........................... SKIPPED 
[INFO] hadoop-mapreduce-client-core ...................... SKIPPED 
[INFO] hadoop-yarn-applications .......................... SKIPPED 
[INFO] hadoop-yarn-applications-distributedshell ......... SKIPPED 
[INFO] hadoop-yarn-site .................................. SKIPPED 
[INFO] hadoop-yarn-project ............................... SKIPPED 
[INFO] hadoop-mapreduce-client-common .................... SKIPPED 
[INFO] hadoop-mapreduce-client-shuffle ................... SKIPPED 
[INFO] hadoop-mapreduce-client-app ....................... SKIPPED 
[INFO] hadoop-mapreduce-client-hs ........................ SKIPPED 
[INFO] hadoop-mapreduce-client-jobclient ................. SKIPPED 
[INFO] hadoop-mapreduce-client-hs-plugins ................ SKIPPED 
[INFO] Apache Hadoop MapReduce Examples .................. SKIPPED 
[INFO] hadoop-mapreduce .................................. SKIPPED 
[INFO] Apache Hadoop MapReduce Streaming ................. SKIPPED 
[INFO] Apache Hadoop Distributed Copy .................... SKIPPED 
[INFO] Apache Hadoop Archives ............................ SKIPPED 
[INFO] Apache Hadoop Rumen ............................... SKIPPED 
[INFO] Apache Hadoop Gridmix ............................. SKIPPED 
[INFO] Apache Hadoop Data Join ........................... SKIPPED 
[INFO] Apache Hadoop Extras .............................. SKIPPED  
[INFO] Apache Hadoop Pipes ............................... SKIPPED 
[INFO] Apache Hadoop Tools Dist .......................... SKIPPED 
[INFO] Apache Hadoop Tools ............................... SKIPPED 
[INFO] Apache Hadoop Distribution ........................ SKIPPED 
[INFO] Apache Hadoop Client .............................. SKIPPED 
[INFO] Apache Hadoop Mini-Cluster ........................ SKIPPED 
[INFO] ------------------------------------------------------------------------ 
[INFO] BUILD FAILURE 
[INFO] ------------------------------------------------------------------------ 
[INFO] Total time: 01:43 min 
[INFO] Finished at: 2014-05-19T11:24:25+00:00 
[INFO] Final Memory: 49M/179M 
[INFO] ------------------------------------------------------------------------ 
[WARNING] The requested profile "native-win" could not be activated because it does not 
exist. 
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run  dist) on project hadoop-hdfs-httpfs: An Ant BuildExcept ion has occured: exec returned: 2 - > [Help 1] 

[ERROR] 

[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch. 

[ERROR] Re-run Maven using the -X switch to enable full debug logging. 

[ERROR] 

[ERROR] For more information about the errors and possible solutions, please read the 
following articles: 

[ERROR] [Help 1]  http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException 

[ERROR] 

[ERROR] After correcting the problems, you can resume the build with the command 
[ERROR] mvn <goals> -rf :hadoop-hdfs-httpfs 
c:\hadoop> 

ответ

0

При использовании более новых версий Hadoop, т.е. Hadoop-2,6, 2,7 или 2,8, то нет необходимости строить Hadoop-Src для получения окон родной Hadoop. Вот ссылка GitHub, которая имеет winutils для последних версий Hadoop.

Я также столкнулся с подобной проблемой при создании Hadoop-src с использованием maven, эти шаги работали для меня.

Download & Установите Java в c:/java/

(убедитесь, что путь этот путь, если Java установлена ​​в программе файлы, то Hadoop-env.cmd не распознает путь Java)

Download Hadoop двоичное распределение.

(я использую двоичное распределение Hadoop-2.8.1)

Установка переменных окружения:

JAVA_HOME = "c:/Java" 
HADOOP_HOME="<your hadoop home>" 
Path= "JAVA_HOME/bin" 
Path = "HADOOP_HOME/bin" 

Hadoop будет работать на окнах, если Hadoop-src построен с использованием Maven в ваш компьютер с окнами. Построение Hadoop-src (распределение) будет создать бинарный дистрибутив Hadoop, который будет работать как родной .

Но если вы не хотите, чтобы сделать это, а затем загрузить предварительно winutils of Hadoop distribution. построенная Вот это GitHub link, который имеет winutils некоторых версий Hadoop.

(если версия используется не в списке, выполните обычный метод для настройки Hadoop на окнах - link)

Если вы нашли свою версию, а затем копировать вставить все содержание папки в пути:/bin/

Установите все конфигурационные файлы .xml - Link & набор JAVA_HOME путь в Hadoop-окр.CMD файл

От ЦМД пойти:

<HADOOP_HOME>/bin/> hdfs namenode -format 
<HADOOP_HOME>/sbin> start-all.cmd 

Надеется, что это помогает.

Смежные вопросы