Hadoop 2 - MapReduce Проблема с использованием PIG over hadoop

Question

Im сталкивается с проблемой при запуске программы MapReduce с использованием Hadoop 2 (YARN) и Pig. Я могу прочитать данные из Cassandra с помощью Pig сценария, однако при работе MapReduce, он бросает исключение, как указано ниже:

Exception in thread "main" java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.JobContext, but class was expected 
    at org.apache.cassandra.hadoop.ColumnFamilyOutputFormat.checkOutputSpecs(ColumnFamilyOutputFormat.java:80) 
    at org.apache.pig.newplan.logical.rules.InputOutputFileValidator$InputOutputFileVisitor.visit(InputOutputFileValidator.java:80) 
    at org.apache.pig.newplan.logical.relational.LOStore.accept(LOStore.java:66) 

Answer 1

бинарный дистрибутив Свиньи скомпилирован против Hadoop 1.х. Вам нужно перекомпилировать его против 2.x (2.2 в моем случае), чтобы заставить его работать. Попробуйте это:

ant clean jar-withouthadoop -Dhadoopversion=23 

(source)