Время, затраченное на создание RDD

Question

Я относительно новичок в искры, и я хотел бы знать, есть ли все-таки знать общее время, затраченное на преобразование RDD. В настоящее время мой журнал показывает только память, потребляемую этим конкретным RDD, и не показывает время, затраченное на его преобразование.

Например, когда я даю команду, Вэл Text = sc.textFile ("README.md")

я получаю следующее в моем журнале, 14/09/09 12:15:38 INFO MemoryStore: ensureFreeSpace(32856) called with curMem=0, maxMem=311387750 14/09/09 12:15:38 INFO MemoryStore: Block broadcast_0 stored as values to memory (estimated size 32.1 KB, free 296.9 MB) Text: org.apache.spark.rdd.RDD[String] = MappedRDD[1] at textFile at :12

Есть ли способ, чтобы получить время, затраченное на это?

Заранее спасибо.

Answer 1

Когда вы создаете RDD, вы просто объявляете объект, время будет миллисекундами. Аналогично для transformations, как карта, фильтр и т. Д. На самом деле никакие задачи не выполняются до тех пор, пока вы не выполните команду action, например, подсчет, прием, сбор и т. Д.

При вызове действия журнал будет включать данные синхронизации.

scala> sc.textFile("filename").count 
... 
14/09/09 12:38:43 INFO scheduler.DAGScheduler: Stage 0 (count at <console>:13) finished in 0.984 s 
14/09/09 12:38:43 INFO spark.SparkContext: Job finished: count at <console>:13, took 1.070632705 s 
res1: Long = 380868