Как принудительно сортировать память в Spark SQL?

Question

Формат файла паркета чувствителен к порядку записей. Его столбчатое кодирование может создавать значительно меньшие файлы в зависимости от порядка сортировки. С другой стороны, сортировка терабайта входных записей очень дорого.

Разделение на куски, предположим, 10 ГБ позволяет сохранять в памяти, генерируя почти как небольшие паркетные файлы, как если бы весь 1 ТБ был полностью отсортирован.

Возможно ли проинструктировать Spark SQL для сортировки сортировки до создания паркетного файла?

Другим вариантом использования было бы слияние многих небольших файлов Паркета в один, в то время как с использованием сортировки сортировки, прежде чем писать унифицированный файл Паркета.

Answer 1

Насколько я знаю, такой вариант недоступен из-под коробки в Spark < 2.0.0. Одна вещь, вы можете попробовать это совместить coalesce с улья SORT BY пункта до того письма, которое должно иметь подобный эффект:

val df: DataFrame = ??? 
val n: Int = ??? // 

df.coalesce(n) 
df.coalesce(n).registerTempTable("df") 
sqlContext.sql("SELECT * FROM df SORT BY foo, bar").write.parquet(...) 

или

df.coalesce(n).sortWithinPartitions($"foo", $"bar").write.parquet(...) 

Имейте в виду, что SORT BY не эквивалентно DataFrame.sort.

Спарка 2.0.0 представил sortBy и bucketBy методы, где последний один сортирует выход в каждом ведре заданных столбцов и should support Parquet:

val df: DataFrame = ??? 
val nBuckets: Int = ??? 

df.write.bucketBy(nBuckets, "foo").sortBy("foo", "bar").saveAsTable(...) 

Примечание: Это похоже на работу только при сохранении файлов Паркета с saveAsTable, но не похоже, что он поддерживает паркетную запись напрямую (df.write.bucketBy(...).sortBy(...).parquet(...)) в spark-2.0.0-preview.