Мы используем apache zeppelin для анализа наших наборов данных. У нас есть несколько запросов, которые мы хотели бы запустить, которые имеют большое количество результатов, которые возвращаются от них, и хотели бы запустить запрос в zeppelin, но сохранить результаты (отображение ограничено 1000). Есть ли простой способ получить zeppelin, чтобы сохранить все результаты запроса в s3-ведро?Сохранение/экспорт результатов запроса Spark SQL Zeppelin
Мне удалось взломать ноутбук, который эффективно делает то, что я хочу, используя интерпретатор scala.
z.load("com.databricks:spark-csv_2.10:1.4.0")
val df= sqlContext.sql("""
select * from table
""")
df.repartition(1).write
.format("com.databricks.spark.csv")
.option("header", "true")
.save("s3://amazon.bucket.com/csv_output/")
Ее стоит отметить, что функция z.load, казалось, работал для меня в один прекрасный день, но тогда я попробовал еще раз и по какой-то причине я должен был заявить об этом в своем пункте с DEP интерпретатором%, то оставшийся код в стандартном scala-интерпретаторе