Я пытаюсь построить каскадное задание, которое использует Hive для выполнения некоторых преобразований. Проект cascading-hive кажется отличной отправной точкой. Я запускаю Gradle 2.6 и Java 1.8. В документации я запустил следующее:Gradle: cascading-hive не будет строиться из-за отсутствия баннера
git clone https://github.com/Cascading/cascading-hive
cd cascading-hive
gradle install
К сожалению, это привело к ошибке. jar не хватал моего местного Maven репо:
FAILURE: Build failed with an exception.
* What went wrong:
Could not resolve all dependencies for configuration ':testCompile'.
> Could not find hadoop-common-tests.jar (org.apache.hadoop:hadoop-common:2.6.0).
Searched in the following locations:
file:/Users/awoolford/.m2/repository/org/apache/hadoop/hadoop-common/2.6.0/hadoop-common-2.6.0-tests.jar
Я искал для этого jar на Maven Central и его там не было.
Вы видите, что должно произойти, чтобы построить каскадный улей?
Update
Я был беглый взгляд в банках, предоставленных Cloudera, нашли свою версию этого jar (например /opt/cloudera/parcels/CDH-5.4.4-1.cdh5.4.4.p0.4/jars/hadoop-common-2.6.0-cdh5.4.4-tests.jar), и скопировать его в /Users/awoolford/.m2/repository/org/apache/hadoop/hadoop-common/2.6.0/hadoop-common-2.6.0-tests.jar. gradle install теперь выполняется успешно, хотя это не похоже на хорошее общее решение.
Похоже опечатка, артефакт [ 'Hadoop-синфазного test'] (http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common-test) – Tunaki
При использовании Cloudera , Я бы предложил использовать их версии банок. Недавно я столкнулся с проблемами с баночками версии CDH 5.5.1, которые неправильно работают с банками Apache. Я изменил свой сценарий pom/gradle, чтобы вытащить cloudera версию hadoop и hive (hadoop: 2.6.0-cdh5.5.1 и hive: 1.1.0-cdh5.5.1) из cloudera repo. –