Apache PySpark потерял исполнителя - Не удалось создать локальный каталог

Question

Я пытаюсь выполнить .leftOuterJoin в pyspark. Я использую EC2, Anaconda, iPython ноутбук, интерактивный режим и Spark 1.3.0.

Когда я запускаю следующий код:

success_rdd = keyedtrips_rdd.leftOuterJoin(success_rdd) 
success_rdd = success_rdd.persist(StorageLevel.MEMORY_AND_DISK) 
some_successes = success_rdd.take(100) 

Спарк получает примерно на полпути через процесс, а затем выдает следующее сообщение:

Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.runJob. 
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 1361 in stage 16.0 failed 4 times, most recent failure: Lost task 1361.3 in stage 16.0 (TID 10438, ip-172-31-43-119.eu-west-1.compute.internal): java.io.IOException: Failed to create local dir in /mnt2/spark/spark-58043a43-5bfc-4610-a6bf-faae43b5ea5d/spark-c31061af-7fc0-45ab-b2ab-8f008005451d/spark-2ca18976-6219-4965-ac3b-aecf2e098cc1/blockmgr-40100c28-6c13-41c9-8617-9dfcf187040c/05. 

очень признателен за любую помощь, я это совершенно неудобно. Этот related question может говорить о той же проблеме, но я не понимаю ответа. Я запускал leftOuterJoin в прошлом и никогда не видел эту ошибку раньше ...

Answer 1

Убедитесь, что ваш мастер SparkConf определяет spark.local.dir в локальном каталоге для записи. Это должно быть доступно для записи пользователем, в котором вы используете искру.

Более подробную информацию можно найти здесь:

https://spark.apache.org/docs/latest/configuration.html