Нет такого исключения метода для EMR Spark 1.4.1.a с пользовательской аутентификацией

Question

Я настраиваю специальную аутентификацию для SparkSQL на thriftserver, работающем на кластере EMR.

Я получаю NoSuchMethodException.

Исключение:

15/09/25 01:59:29 ERROR server.TThreadPoolServer: Error occurred during processing of message. 
java.lang.RuntimeException: java.lang.NoSuchMethodException: org.apache.hive.service.auth.PasswdAuthenticationProvider.<init>() 
    at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:131) 
    at org.apache.hive.service.auth.CustomAuthenticationProviderImpl.<init>(CustomAuthenticationProviderImpl.java:38) 
    at org.apache.hive.service.auth.AuthenticationProviderFactory.getAuthenticationProvider(AuthenticationProviderFactory.java:62) 

Улей-сайт:

<property> 
     <name>hive.server2.authentication</name> 
     <value>CUSTOM</value> 
    </property> 
    <property> 
     <name>HIVE_SERVER2_CUSTOM_AUTHENTICATION_CLASS</name> 
     <value>package.Authenticator</value> 
    </property> 
    <property> 
     <name>hive.server2.enable.doAs</name> 
     <value>false</value> 
    </property> 

ЭМИ инфраструктура:

AMI version:3.8.0 
Hadoop distribution:Amazon 2.4.0 
Applications: Ganglia, Hive latest, Hue, Spark 

команда бережливость-сервер запуска:

/home/hadoop/spark/sbin/start-thriftserver.sh --master yarn --deploy-mode client --executor-cores 7 --num-executors 2 --executor-memory 44G --driver-java-options -XX:+CMSClassUnloadingEnabled --driver-java-options -XX:MaxPermSize=1g --driver-cores 4 --driver-memory 10g --properties-file /home/hadoop/spark-overrides.properties --jars /home/hadoop/spark/classpath/emr/authenticator-0.1.jar 

искровые свойства:

spark.kryoserializer.buffer.max.mb=256 
spark.scheduler.mode=FAIR 
spark.rdd.compress=true 
spark.cleaner.ttl=604800 
spark.driver.maxResultSize=2g 
spark.shuffle.consolidateFiles=true 
spark.shuffle.file.buffer.kb=256 
spark.speculation=true 
spark.speculation.interval=1000 
spark.io.compression.codec=lz4 
spark.sql.thriftserver.scheduler.pool=sql 
spark.sql.shuffle.partitions=200 
spark.authenticate=false 

улей-сервис находится в 0.13.1 Есть ли что-нибудь еще, что я должен делать.

Благодаря

Answer 1

Ну ... вещи должны были быть (по крайней мере, с искрой 1.4.1 на ОМ кластере):

<property> 
    <name>hive.server2.authentication</name> 
    <value>CUSTOM</value> 
</property> 
<property> 
    <name>hive.server2.custom.authentication.class</name> 
    <value>my-authenticator</value> 
</property>