ошибка Spark: «ОШИБКА Utils: Исключение при удалении Спарк темп реж:»

Edit: добавляющие детали, как запрошеннойошибка Spark: «ОШИБКА Utils: Исключение при удалении Спарк темп реж:»

Во время работы простой искровой код, написанный на Scala, локально на Windows 7 64bit в режиме администратора, выполнение всегда заканчивается ошибкой, как описано ниже. Кодекс записывает вывод как ожидалось (saveAsTextFile), прежде чем выбросить ошибку.

(на основе поиска Google, другие имеют те же проблемы, но добавление sc.stop() в конце кода, как предложено на другой плате не поможет.)

Код:

import org.apache.spark.SparkContext 
import org.apache.spark.SparkConf 

object Test { 
    def main(args: Array[String]) { 
     System.setProperty("hadoop.home.dir", "C:/prog/winutil/") 
     val inputFile1 = "./textinput.txt" 

     val conf = new SparkConf().setAppName("Testing") 
     val sc = new SparkContext(conf) 

     val data = sc.textFile(inputFile1)  

     val outputFile = "./output" 
     data.saveAsTextFile(outputFile) 

     sc.stop()  
    } 
}

И сообщение об ошибке:

ERROR Utils: Exception while deleting Spark temp dir: [userpath]\AppData\Local\Temp\spark-a790ba3f-af1e-4d2b-80e8-4085caaad04b\userFiles 
-904e004e-4ca2-43a8-8689-684cc401b827 
java.io.IOException: Failed to delete: [userpath]\AppData\Local\Temp\spark 
-a790ba3f-af1e-4d2b-80e8-4085caaad04b\userFiles-904e004e-4ca2-43a8-8689-684cc401 
b827 
     at org.apache.spark.util.Utils$.deleteRecursively(Utils.scala:933) 
     at org.apache.spark.util.Utils$$anon$4$$anonfun$run$1$$anonfun$apply$mcV 
$sp$2.apply(Utils.scala:181) 
     at org.apache.spark.util.Utils$$anon$4$$anonfun$run$1$$anonfun$apply$mcV 
$sp$2.apply(Utils.scala:179) 
     at scala.collection.mutable.HashSet.foreach(HashSet.scala:79) 
     at org.apache.spark.util.Utils$$anon$4$$anonfun$run$1.apply$mcV$sp(Utils 
.scala:179) 
     at org.apache.spark.util.Utils$$anon$4$$anonfun$run$1.apply(Utils.scala: 
177) 
     at org.apache.spark.util.Utils$$anon$4$$anonfun$run$1.apply(Utils.scala: 
177) 
     at org.apache.spark.util.Utils$.logUncaughtExceptions(Utils.scala:1618) 
     at org.apache.spark.util.Utils$$anon$4.run(Utils.scala:177)

источник

2015-07-07 yrjo

Вы работаете в режиме администратора? Удаляется ли путь (состояние гонки)? Каков ваш простой код? Нам нужно больше деталей. –

Добавленные сведения, да в режиме администратора, временный путь не удаляется, код добавлен выше. – yrjo

С одной и той же проблемой столкнулись 64-разрядные версии Windows 8.1. Я прочитал в списке рассылки Spark, что запуск Spark Job в командной строке с разрешениями администратора решает проблему, но они не работают для меня. В любом случае, кажется, что это ошибка в Spark 1.4.x (см. Https://issues.apache.org/jira/browse/SPARK-8333), которая исправляется/работает на данный момент. – PermaFrost

Fixed для меня после перемещения счетчика() & тека() заявлений на РДУ перед сохранением паркета с использованием saveAsPar quetFile. Поэтому попробуйте переместить любой файл rdd.take() перед вызовом saveAsParquetFile.

источник

2016-02-18 01:51:28 spats

ошибка Spark: «ОШИБКА Utils: Исключение при удалении Спарк темп реж:»

ответ

Смежные вопросы