2016-05-17 4 views
6

Я работаю над приложением Spark в Scala, которое использует SBT для своих построений. Spark создает очень подробное ведение журнала, которое я хотел бы игнорировать при запуске тестов.log4j.properties Игнорируется при запуске теста sbt

У меня есть файл log4j.properties настроить под SRC/тест/ресурсов, а также SRC/основные/ресурсы со следующим содержанием:

# Set everything to be logged to the console 
log4j.rootCategory=INFO, console 
log4j.appender.console=org.apache.log4j.ConsoleAppender 
log4j.appender.console.layout=org.apache.log4j.PatternLayout 
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{10}: %m%n 

# Settings to quiet third party logs that are too verbose 
log4j.logger.akka=ERROR 
log4j.logger.Remoting=ERROR 
log4j.logger.org.apache.spark=ERROR 
log4j.logger.org.eclipse.jetty=ERROR 

При запуске приложения с sbt test или работает полный приложение работает правильно, но все же записывает все инструкции уровня INFO, которые имеют отношение к Spark

Есть ли что-то, что мне не хватает в конфигурации файла, или мне нужно явно указать sbt для загрузки log4j.properties? Должен ли я попробовать новый подход?

Я также ограничен тем, что приложение должно иметь возможность запускать на нашей среде CI и других компьютерах пользователей с установленными параметрами ведения журнала. Это означает, что настройки должны быть включены и распознаны из репозитория git приложения.

+0

Вы в конечном итоге решили проблему? (потому что я в той же ситуации) – daveoncode

ответ

0

Скопируйте свои log4j.properties в каталог $SPARK_HOME/conf. То, что используется искровой установкой

+0

Настройки необходимо хранить и использовать локально для самого каталога приложений, чтобы они могли совместно использоваться другими пользователями и нашей средой CI. Принуждение определенных глобальных настроек ведения журнала для Spark не является опцией. – lobobabysaurus

+0

То, что я упомянул, является стандартным подходом: так что * * * правильный. Таким образом, у вас, по-видимому, есть * дополнительные * требования (*, которые не были указаны в OP *). Я мог бы взглянуть на более поздний момент, как обратиться к вашим сведениям. – javadba

Смежные вопросы