Как интегрировать eclipse и hadoop 2.6

Question

Я установил hadoop 2.6 в моем ubuntu 14.04, но когда я хочу запустить код в hasop с java API, я должен экспортировать файл jar и запустить его с помощью терминала. Есть ли способ настроить eclipse с помощью hasoop и запустить java-код для hadoop в eclipse напрямую?

Answer 1

На первом этапе, вы должны загрузить Hadoop-затмение плагин от GitHub

На втором этапе, скопируйте его в eclipse_install_dir/plugins. Теперь, когда вы начинаете затмение, вы можете увидеть новый, имеющий знак слона Hadoop, добавляется. На последнем этапе нам нужны конфигурации, выполните следующие шаги:

a. Goto Window --> Open Perspective --> Other and select 'Map/Reduce' perspective.

b. Click 'New Hadoop location...' (Blue Elephant icon) and define Hadoop location to run MapReduce applications. Click 'Finish' button.

c.Чтобы узнать номера «Порт», запустите Hadoop и откройте http://localhost:8088/cluster в браузере. Нажмите «Сервис» -> «Конфигурация» и выполните поиск следующих свойств.

ДФС Мастер

<property> 
    <name>fs.defaultFS</name> 
    <value>hdfs://localhost:9000</value> 
    <source>core-site.xml</source> 
</property> 

Map/Reduce (V2) Мастер

<property> 
    <name>mapreduce.jobtracker.http.address</name> 
    <value>0.0.0.0:50030</value> 
    <source>mapred-default.xml</source> 
</property> 

д. Now we can browse the Hadoop file system and perform different files/folder operations using the GUI only. Also, you can easily create Map/Reduce Project, Mapper, Reducer and MapReduce Driver using the wizard (File --> New --> Other... --> Map/Reduce) and jump into Hadoop programming.

Answer 2

Интеграция Hadoop-2.6.0 с затмением

1. пользователя «HDFS» создается там, где работают все процессы Hadoop.
2. Hadoop устанавливается в каталог «/ opt/hadoop».
3. Eclipse установлен в каталог «/ opt/eclipse».

Шаг 1: Скачать Hadoop-затмение-плагин 2.6.0 баночки

Шаг 2: Скопируйте Map-Reduce плагин для затмения в Справочнике плагин папки затмений - sudo cp /home/hdfs/Downloads/hadoop-eclipse-plugin-2.6.0.jar /opt/eclipse/plugins/ Перезапустите затмение с помощью команда - /opt/eclipse/eclipse -vm /usr/local/jdk1.8.0_05/bin/java -vmargs -Xmx1024m Если elcipse не подходит из-за проблемы пересылки X11, попробуйте использовать «sux» вместо «su» при переключении на «hdfs».

Шаг 3: Запустите затмение $ECLIPSE_HOME/eclipse

шаг 4: В Eclipse меню выберите, Window -> Open Perspective -> Другие -> MapReduce

шаг 5: В нижней части MapReduce значок мыши на Добавить Hadoop расположение

шаг 6: Введите MapReduce & HDFS работает порт для вызова, MapReduce порт (9001), указанная в $HADOOP_HOME/conf/mapred-site.xml Для вызова, HDFS порт (9000), указанный в $HADOOP_HOME/conf/core-site.xml Введите имя пользователя Hadoop

шаг 7: После добавления Hadoop расположение Места DFS будет видно/отображается в окне Eclipse, проводника Project (Windows -> Show View -> Проводник проекта)

Шаг 8: После того, как добавили Hadoop, местонахождение DFS будет видно/отображается в окне Project Explorer,

шаг 9: щелкните правой кнопкой мыши местоположение DFS и нажмите Connect

шаг 10: После подключения успешно, он будет отображать все папки DFS.

Шаг 11: Вы можете создать каталог, загрузить файлы в местоположение HDFS, загрузить файлы на локальный, щелкнув правой кнопкой мыши любой из перечисленных каталогов.