Как распечатать содержимое широковещательной переменной

Question

Я создал переменную широковещания в оболочке pyspark, и я хочу просто проверить, что внутри нее.

Но функции, которые я обычно использовал для печати или просмотра RDD, недоступны для широковещательной переменной.

i.e. .collect() и .take(5) и т. Д. Все бросают ужасные ошибки Broadcast object has no property ....

Как просмотреть данные, хранящиеся в широковещательном var?

Answer 1

Я предполагаю, что в Python это похоже. Я покажу вам пример в Scala.

scala> val broadcastVar = sc.broadcast(Array(1, 2, 3)) 
broadcastVar: org.apache.spark.broadcast.Broadcast[Array[Int]] = Broadcast(0) 

scala> broadcastVar.value 
res0: Array[Int] = Array(1, 2, 3) 

если сохранить результат broadcastVar.value, вы получите T в переменной вы можете распечатать его или что-то с помощью метода ToString по умолчанию типа T.