Сохранить журнал PySpark в текстовый файл

Question

Я использую PySpark для запуска некоторых симуляций с различными наборами данных, и я хотел бы сохранить весь вывод консоли (INFOS, WARNS и т. Д.) В текстовый файл в то есть путем объявления внутри кода текстового файла, который будет содержать выход журнала. Код будет просто запускать некоторые операции над исходным набором данных, и я планирую запустить код с помощью spark-sumbit.

Это позволит мне сохранять отдельные журналы для отдельных симуляций, идея заключается в том, чтобы соответствовать имени файла журнала с именем входного набора данных.

Возможно ли это без изменения confs и других файлов Spark?

Answer 1

Если вы используете пряжи кластера вы могли бы получить от рубок,

yarn logs -applicationId <application ID> 

Если его локальный или клиент вы могли бы сделать,

spark-submit myapp.py 2> mylogfile