Как избежать создания файлов .crc при создании паркетных файлов

Question

Я использую рамки паркета для записи паркетных файлов. Я создаю паркет писатель с этим constructor--

public class ParquetBaseWriter<T extends HashMap> extends ParquetWriter<T> { 
    public ParquetBaseWriter(Path file, HashMap<String, SchemaField> mySchema, 
          CompressionCodecName compressionCodecName, int blockSize, 
          int pageSize) throws IOException { 
     super(file, ParquetBaseWriter.<T>writeSupport(mySchema), 
       compressionCodecName, blockSize, pageSize, DEFAULT_IS_DICTIONARY_ENABLED, false); 
    } 

Eachtime паркет создается файл, файл .crc соответствующий ему также будет создаваться на диске. Как я могу избежать создания этого .crc-файла? Есть ли флаг или что-то, что мне нужно установить?

Благодаря

Answer 1

Вы могли видеть это в Группах Google дискуссию о Crc файлов: https://groups.google.com/a/cloudera.org/forum/#!topic/cdk-dev/JR45MsLeyTE

TL; DR - CRC файлы не занимают никакого накладных расходов в пространстве имен NN. Они не являются файлами данных HDFS, они являются метафайлами в каталогах данных. Вы увидите их в своей локальной файловой системе, если вы используете URI файла: ///.