Какие форматы файлов поддерживаются Presto? Существуют ли какие-либо конкретные форматы файлов, рекомендованные для повышения производительности. Мне было бы интересно узнать, есть ли какой-либо формат столбчатого файла, такой как RCfile, оптимизированный для Presto?Форматы файлов, поддерживаемые Presto
Мы тестируем каждый выпуск Presto с форматами RCFile, SequenceFile и TextFile, но Presto должен поддерживать любой стандартный формат файла Hadoop. В Facebook большинство наших данных в формате RCFile, поэтому в настоящее время этот формат имеет лучшую производительность на Presto. Мы находимся в процессе перехода на ORC, и поскольку это приближается к завершению, ORC также должен быть очень быстрым в Presto.
Для текущей версии presto я рекомендую использовать ORC-файл, Dain закончил новый считыватель ORC в престо, и он очень быстрый. Здесь находится https://code.facebook.com/posts/370832626374903/even-faster-data-at-the-speed-of-presto-orc/
Оптимальный оптимизированный ORC. Паркет тоже хорош, и благодаря Netflix больше оптимизаций.
Как насчет сжатия? Должен ли он поддерживать Snappy/GZIP? Благодарю. –