sparksql: disable INFO StatsReportListener

У меня есть искра 1.1, использующая YARN.
Каждый запрос, который я запускаю, записывает статус, предоставляющий INFO StatsReportListener и т. Д. Как отключить это? Я ищу конфигурацию, где я могу ее отключить.sparksql: disable INFO StatsReportListener

Благодарим за помощь.

источник

2014-10-06 user1189851

Вы можете установить уровень ведения журнала на WARN, например. Из официальных документов:

Spark использует log4j для регистрации. Вы можете настроить его, добавив файл log4j.properties в каталог conf. Один из способов начать - скопировать существующий файл log4j.properties.template, расположенный там.

источник

2014-10-07 08:34:59

log4j.appender.logfile.File =/TMP/spark.log – user1189851

Добавьте эту строку в log4.properties файл в папке конф искрового: log4j.appender.logfile.File =/TMP/spark.log, добавьте журналы в временном файле, подобные этому. – user1189851

sparksql: disable INFO StatsReportListener

ответ

Смежные вопросы