MRUnit on windows without hadoop cluster

Question

Я ищу, чтобы увидеть, есть ли способ запустить hadoop. Модули модуля Mapreduce в Windows без настройки hadoop. Выполняется ли MRUnit в Windows (без cygwin) в Eclipse как проект Java maven?

Благодаря Srivatsan Nallazhagappan

Answer 1

Вы можете запустить автономные MRUnit тесты. Все, что вам нужно, это несколько зависимостей в вашем пом. Я просто сделал небольшой тест, и это единственные зависимости, которые мне нужны для успешного теста. Просто простой тест с жестко закодированными значениями. Никакой cywin, никакой настройки hadoop, только зависимости.

<dependencies> 
    <dependency> 
     <groupId>jdk.tools</groupId> 
     <artifactId>jdk.tools</artifactId> 
     <version>1.7.0_25</version> 
     <scope>system</scope> 
     <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath> 
    </dependency> 
    <dependency> 
     <groupId>org.apache.hadoop</groupId> 
     <artifactId>hadoop-common</artifactId> 
     <version>2.2.0</version> 
    </dependency> 
    <dependency> 
     <groupId>org.apache.hadoop</groupId> 
     <artifactId>hadoop-yarn-common</artifactId> 
     <version>2.2.0</version> 
    </dependency> 
    <dependency> 
     <groupId>org.apache.mrunit</groupId> 
     <artifactId>mrunit</artifactId> 
     <version>1.0.0</version> 
     <classifier>hadoop2</classifier> 
    </dependency> 
    <dependency> 
     <groupId>org.apache.hadoop</groupId> 
     <artifactId>hadoop-mapreduce-client-core</artifactId> 
     <version>2.2.0</version> 
    </dependency> 
</dependencies> 

Что касается запуска установки без cygwin, это также возможно. Посмотрите на this site и this site на помощь при строительстве и установке hadoop для окон без cywin.

Также полезным инструментом является плагин hadoop для eclipse. Вы можете увидеть compiled version here. Он довольно прост в использовании. Вы можете получить помощь по его использованию. here