У меня есть таблица улья в формате орков, заполненная pyspark dataframe_writer. Мне нужно экспортировать эту таблицу в oracle. У меня проблемы с экспортом таблицы, потому что sqoop не смог разобрать формат файла орков.sqoop export of hive orc table
Существуют ли какие-либо особые соображения или параметры, которые необходимо указать с помощью команды sqoop для экспорта таблицы hive orc.
Простых Google точки запроса к этому blog post меченым вполне явно ...
Как Sqoop Экспорт таблицы Hive ORC к базе данных Oracle?
И есть также, что SO post меченного ...
Чтение ORC файлов и ввод в РСУБД?
Похоже, что вы не проводили никаких исследований.
Кстати, вы считали использование Spark для отправки данных непосредственно в промежуточную таблицу Oracle через JDBC без промежуточного дампа ORC?
Я просто работал над тем же sqoop от orc к Oracle. Убедитесь, что ваша таблица ORC создана заранее с использованием правильных типов данных, так как вы их используете в dataframe. Тот же порядок столбцов также облегчит работу sqoop. Если вы попробовали какую-либо команду, отправьте ее.
Я сделал свое исследование и увидел сообщение, чтобы использовать hcatalog и попробовал его. Я получил ошибку, которую мне нужно воспроизвести, чтобы опубликовать здесь. – srini