Формат пользовательских файлов в Impala

Question

У нас есть собственный внутренний формат данных. Я бы хотел использовать Impala в этом формате, просто для чтения. Я хочу написать привязку для этого формата. Но нет оснований для этого, поскольку никто не использует этот формат.

Поддерживает ли Impala форматы файлов в некотором роде?

От hdfs-scan-node.cc похоже, что к сожалению, список форматов файлов жестко. Если это так, есть ли план изменить это? Или это по какой-то причине не является общей проблемой?

Answer 1

Нет, как указано в How Impala Works with Hadoop File Formats:

Impala может только запросить форматы файлов, перечисленных в предыдущей таблице. В частности, Impala не поддерживает формат файла ORC.

Причины этого, вероятно, связаны с созданием кода времени выполнения, которое было бы труднее оптимизировать, если бы Impala не ограничивала форматы файлов. Тем не менее, Impala - проект с открытым исходным кодом, и нет причин, по которым вы не можете предложить это, подав JIRA.

http://blog.cloudera.com/blog/2013/02/inside-cloudera-impala-runtime-code-generation/ https://issues.apache.org/jira/projects/IMPALA/issues https://www.cloudera.com/documentation/enterprise/latest/topics/impala_file_formats.html