Укажите свойства паркета pyspark

Question

Как указать размер блока паркета и размер страницы в PySpark? Я искал везде, но не могу найти документацию для вызовов функций или библиотек импорта.

Answer 1

Согласно spark-user archives

sc.hadoopConfiguration.setInt("dfs.blocksize", some_value) 
sc.hadoopConfiguration.setInt("parquet.block.size", some_value) 

так в PySpark

sc._jsc.hadoopConfiguration().setInt("dfs.blocksize", some_value) 
sc._jsc.hadoopConfiguration().setInt("parquet.block.size", some_value)