Неудача интеграционного теста для Apache Spark Streaming

Question

Я пытался отследить проблему с некоторыми тестами интеграции/интеграции, которые я писал для проекта Apache Spark.

При использовании Spark 1.1.1 мой тест прошел. Когда я попытался перейти на 1.4.0 (также попытался 1.4.1), тест начнет сбой.

Мне удалось уменьшить код, необходимый для воспроизведения проблемы, до небольшого теста интеграции ниже.

Интересно, если я прокомментирую аннотацию @RunWith на тесте, тогда тест пройдет правильно. Очевидно, мне не нужна аннотация @RunWith для этого теста, но реальные тесты довольно часто используют mocks, поэтому мне бы не пришлось отказаться от использования PowerMock.

package com.example; 

import org.apache.spark.SparkConf; 
import org.apache.spark.streaming.Duration; 
import org.apache.spark.streaming.api.java.JavaStreamingContext; 
import org.junit.Before; 
import org.junit.Test; 
import org.junit.runner.RunWith; 
import org.powermock.modules.junit4.PowerMockRunner; 

@RunWith(PowerMockRunner.class) 
public class SampleTest { 

    @Before 
    public void setup() throws Exception { 
     SparkConf conf = new  SparkConf(false).setMaster("local[2]").setAppName("My app"); 
     JavaStreamingContext jsc = new JavaStreamingContext(conf, new Duration(1000)); 
    } 

    @Test 
    public void exampleTest() { 
    } 
} 

Ниже исключение я вижу

java.io.IOException: failure to login 
    at org.apache.hadoop.security.UserGroupInformation.loginUserFromSubject(UserGroupInformation.java:796) 
    at org.apache.hadoop.security.UserGroupInformation.getLoginUser(UserGroupInformation.java:748) 
    at org.apache.hadoop.security.UserGroupInformation.getCurrentUser(UserGroupInformation.java:621) 
    at org.apache.spark.util.Utils$$anonfun$getCurrentUserName$1.apply(Utils.scala:2162) 
    at org.apache.spark.util.Utils$$anonfun$getCurrentUserName$1.apply(Utils.scala:2162) 
    at scala.Option.getOrElse(Option.scala:120) 
    at org.apache.spark.util.Utils$.getCurrentUserName(Utils.scala:2162) 
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:301) 
    at org.apache.spark.streaming.StreamingContext$.createNewSparkContext(StreamingContext.scala:842) 
    at org.apache.spark.streaming.StreamingContext.<init>(StreamingContext.scala:80) 
    at org.apache.spark.streaming.api.java.JavaStreamingContext.<init>(JavaStreamingContext.scala:133) 
    at com.example.SampleTest.setup(SampleTest.java:19) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:606) 
    at org.junit.internal.runners.MethodRoadie.runBefores(MethodRoadie.java:133) 
    at org.junit.internal.runners.MethodRoadie.runBeforesThenTestThenAfters(MethodRoadie.java:96) 
    at org.powermock.modules.junit4.internal.impl.PowerMockJUnit44RunnerDelegateImpl$PowerMockJUnit44MethodRunner.executeTest(PowerMockJUnit44RunnerDelegateImpl.java:294) 
    at org.powermock.modules.junit4.internal.impl.PowerMockJUnit47RunnerDelegateImpl$PowerMockJUnit47MethodRunner.executeTestInSuper(PowerMockJUnit47RunnerDelegateImpl.java:127) 
    at org.powermock.modules.junit4.internal.impl.PowerMockJUnit47RunnerDelegateImpl$PowerMockJUnit47MethodRunner.executeTest(PowerMockJUnit47RunnerDelegateImpl.java:82) 
    at org.powermock.modules.junit4.internal.impl.PowerMockJUnit44RunnerDelegateImpl$PowerMockJUnit44MethodRunner.runBeforesThenTestThenAfters(PowerMockJUnit44RunnerDelegateImpl.java:282) 
    at org.junit.internal.runners.MethodRoadie.runTest(MethodRoadie.java:87) 
    at org.junit.internal.runners.MethodRoadie.run(MethodRoadie.java:50) 
    at org.powermock.modules.junit4.internal.impl.PowerMockJUnit44RunnerDelegateImpl.invokeTestMethod(PowerMockJUnit44RunnerDelegateImpl.java:207) 
    at org.powermock.modules.junit4.internal.impl.PowerMockJUnit44RunnerDelegateImpl.runMethods(PowerMockJUnit44RunnerDelegateImpl.java:146) 
    at org.powermock.modules.junit4.internal.impl.PowerMockJUnit44RunnerDelegateImpl$1.run(PowerMockJUnit44RunnerDelegateImpl.java:120) 
    at org.junit.internal.runners.ClassRoadie.runUnprotected(ClassRoadie.java:34) 
    at org.junit.internal.runners.ClassRoadie.runProtected(ClassRoadie.java:44) 
    at org.powermock.modules.junit4.internal.impl.PowerMockJUnit44RunnerDelegateImpl.run(PowerMockJUnit44RunnerDelegateImpl.java:122) 
    at org.powermock.modules.junit4.common.internal.impl.JUnit4TestSuiteChunkerImpl.run(JUnit4TestSuiteChunkerImpl.java:106) 
    at org.powermock.modules.junit4.common.internal.impl.AbstractCommonPowerMockRunner.run(AbstractCommonPowerMockRunner.java:53) 
    at org.powermock.modules.junit4.PowerMockRunner.run(PowerMockRunner.java:59) 
    at org.eclipse.jdt.internal.junit4.runner.JUnit4TestReference.run(JUnit4TestReference.java:50) 
    at org.eclipse.jdt.internal.junit.runner.TestExecution.run(TestExecution.java:38) 
    at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:467) 
    at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:683) 
    at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.run(RemoteTestRunner.java:390) 
    at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.main(RemoteTestRunner.java:197) 
Caused by: javax.security.auth.login.LoginException: Can't find user name 
    at org.apache.hadoop.security.UserGroupInformation$HadoopLoginModule.commit(UserGroupInformation.java:197) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:606) 
    at javax.security.auth.login.LoginContext.invoke(LoginContext.java:784) 
    at javax.security.auth.login.LoginContext.access$000(LoginContext.java:203) 
    at javax.security.auth.login.LoginContext$5.run(LoginContext.java:721) 
    at javax.security.auth.login.LoginContext$5.run(LoginContext.java:719) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at javax.security.auth.login.LoginContext.invokeCreatorPriv(LoginContext.java:718) 
    at javax.security.auth.login.LoginContext.login(LoginContext.java:591) 
    at org.apache.hadoop.security.UserGroupInformation.loginUserFromSubject(UserGroupInformation.java:771) 
    ... 38 more 

версии различных зависимостей показаны ниже

• Hadoop-клиент 2.6
• Apache Spark 1.4.0/1.4.1
• junit 4.12
• легко издеваться 3,31
• мощность издеваться 1.6.2

Я попытался это с различными версиями Спарк. Выше тест пройден со следующими версиями Спарк

• 1.1.1
• 1.2.2

Она начинается с отказами Спарк 1.3.0 и далее.

Любые идеи, что мне нужно изменить, чтобы заставить это работать?

Answer 1

Рассматривая исходный код SparkContext, строка, вызывающая ваше исключение, при попытке получить текущее имя пользователя. В version 1.2 был запасной вариант по умолчанию SparkContext.SPARK_UNKNOWN_USER и не требуется currectly вошедшего пользователя:

// Set SPARK_USER for user who is running SparkContext. 
val sparkUser = Option { 
    Option(System.getenv("SPARK_USER")).getOrElse(System.getProperty("user.name")) 
    }.getOrElse { 
     SparkContext.SPARK_UNKNOWN_USER 
    } 

Этот код вводится в version 1.3 не пользователь по умолчанию больше, следовательно, почему вы не получите эту ошибку с более ранними версиями:

// Set SPARK_USER for user who is running SparkContext. 
val sparkUser = Utils.getCurrentUserName() 

Это вызывает following code в Utils:

/** 
    * Returns the current user name. This is the currently logged in user, unless that's been 
    * overridden by the `SPARK_USER` environment variable. 
    */ 
    def getCurrentUserName(): String = { 
    Option(System.getenv("SPARK_USER")) 
     .getOrElse(UserGroupInformation.getCurrentUser().getShortUserName()) 
    } 

Если вы задаете переменную окружения SPARK_USER, вы должны иметь возможность предотвратить ветвление в UserGroupInformation, что приведет к вашему исключению.

UserGroupInformation является классом безопасности Hadoop, и похоже, что использование PowerMock мешает ему работать должным образом.