3
Я в настоящее время импортирую из Mysql в HDFS, используя Sqoop в формате avro, это отлично работает. Однако каким образом можно загрузить эти файлы в HIVE?Sqoop, Avro и Hive
Поскольку файлы avro содержат схему, я могу вытащить файлы в локальную файловую систему, использовать инструменты avro и создать таблицу с извлеченной схемой, но это кажется чрезмерным?
Также, если столбец удаляется из таблицы в mysql, я могу загрузить старые файлы в новую таблицу HIVE, созданную с помощью новой схемы avro (отсутствовал столбец столбца)?
Неужели мне еще нужно предоставить схему в TBLPROPERTIES, когда я создаю таблицу? –
Да. Улей должен знать схему раньше времени. Схема, указанная в параметрах tableproperties, должна быть совместима с всеми схемами, которые столбец встретит. –
Откуда берется файл схемы? Если я импортирую некоторые данные с помощью Sqoop, я могу увидеть схему в заголовке файлов данных, но я не вижу никакого внешнего файла схемы в каталоге данных. Что я должен указать для TBLPROPERTIES? –