формата ORC - PIG - зависимые библиотеки

Question

Я понимаю, писать в формат ORC + мгновенным сжатие (свинья сценарий),

с использованием OrcStorage ('- C мгновенного')

мне нужна ваша помощь, что является SET или необходимую библиотеку, которую мне нужно включить, чтобы включить сохранение набора данных результата в формат ORC?

Пожалуйста, помогите.

Subra

Answer 1

Проверьте, какая версия свиньи вы используете. Хранение ORC доступно от pig14 в качестве встроенной функции. Проверьте примеры: https://pig.apache.org/docs/r0.14.0/func.html#OrcStorage

UPDATE

Эта свинья просто прекрасно работает:

data = LOAD 'SO/date.txt' USING PigStorage(' ') AS (ts:chararray); 
STORE data INTO 'orc/snappy' using OrcStorage('-c SNAPPY'); 
data_orc = LOAD 'orc/snappy' using OrcStorage('-c SNAPPY'); 
DUMP data_orc; 

Вам даже не нужно зарегистрировать Kryo банку, потому что не используется непосредственно от свиньи так он будет оптимизирован, но вы используете его с помощью отражения, поэтому вам нужно добавить крио-кластер к пути к классу, например:

pig -latest -useHCatalog -cp ./kryo-2.24.0.jar orc.pig