Spark: Молча выполнить sc.wholeTextFiles

Question

Я загрузке около 200k текстовых файлов в Спарк с помощью input = sc.wholeTextFiles(hdfs://path/*) я запустить println(input.count) Оказывается, что моя искра оболочка выводит тонны текста (которые путь каждого файла) и через некоторое время он просто висит, не возвращая моего результата.

Я считаю, что это может быть связано с количеством текста, выводимого wholeTextFiles. Вы знаете, как можно спокойно запускать эту команду? или есть лучшее обходное решение?

Спасибо!

Answer 1

Насколько велики ваши файлы? Из wholeTextFilesAPI:

Небольшие файлы являются предпочтительными, большие файлы также допустимы, но может причиной плохой производительности.

В conf/log4j.properties, вы можете подавить чрезмерную регистрацию, например:

# Set everything to be logged to the console 
log4j.rootCategory=ERROR, console 

Таким образом, вы получите обратно только res к РЕПЛ, так же, как в Scala (язык) repl.

Вот все остальные уровни ведения журнала, с которыми вы можете играть: log4j API.