Как установить свой путь класса EMR

Question

Я выполняю работу в кластере AWS EMR, и у меня возникают проблемы с конфликтом библиотеки Jackson. На основании статьи here я пытался добавить загрузочный шаг, чтобы установить свой путь к классам со следующим сценарием:

#!/bin/bash 
export HADOOP_USER_CLASSPATH_FIRST=true; 
echo "HADOOP_CLASSPATH=s3n://bucket/myjar.jar" > /home/hadoop/conf/hadoop-user-env.sh 

Я построил свою баночку, так что вся его зависимость включена с ним. Первая проблема, у меня есть, когда я делаю это, что мой включить шаг, который я имею умирает со следующей ошибкой отладки:

Exception in thread "main" java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.amazon.ws.emr.hadoop.fs.EmrFileSystem not found 
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1895) 
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2427) 
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2440) 
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:88) 
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2479) 
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2461) 
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:372) 
at com.amazon.elasticmapreduce.scriptrunner.ScriptRunner.fetchFile(ScriptRunner.java:39) 
at com.amazon.elasticmapreduce.scriptrunner.ScriptRunner.main(ScriptRunner.java:56) 
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
at java.lang.reflect.Method.invoke(Method.java:606) 
at org.apache.hadoop.util.RunJar.main(RunJar.java:212) 
Caused by: java.lang.ClassNotFoundException: Class com.amazon.ws.emr.hadoop.fs.EmrFileSystem not found 
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1801) 
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1893) 
... 13 more 

Поэтому у меня есть два вопроса, что не так с этим рассматривает на этапе включения отладки также? Действительно ли мой путь к классам является местом s3? Если нет, то значение должно быть:

быть в примере на указанной выше странице?

Answer 1

Посмотрите на свое действие для начальной загрузки, похоже, что может произойти ошибка в вашей строке. Строка должна выглядеть следующим образом:

#!/bin/bash 
export HADOOP_USER_CLASSPATH_FIRST=true 
echo "HADOOP_CLASSPATH=/path/to/my.jar" >> /home/hadoop/conf/hadoop-user-env.sh 

Обратите внимание на '>>' символов. Один «>» означает, что вы заменяете весь файл на выход команды «эхо», тогда как двойной «>>» означает, что вы добавляете эту строку в конец скрипта. Кроме того, в сценарии Bash не требуется полуколония.

Ссылки: http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-hadoop-config_hadoop-user-env.sh.html

PS: огромная поддержка Amazon нашла этот вопрос и ответил на мою электронную почту; хотя этот вопрос меня не задал. Так что это указание автору - инженер службы поддержки AWS по имени Rendy O.