Sqoop-export секционированный стол для улья

Question

У меня есть стол с улей, разделенный year и week колонками. Таким образом, содержимое хранится в нескольких рекурсивных каталогах на складе Hive, и в моем случае у меня есть более 100 каталогов (разделов) для этой таблицы.

Здесь я не уверен, как указать деталь каталога таблицы улья на свойство --export-dir команды sqoop-export.

Должен ли я отдельно указывать все 100 * -кода в отдельном sqoop-export командах ?. Можно ли упомянуть обо всех вложенных каталогах в одной команде sqoop-export ?.

Просьба также сообщить мне, есть ли другой лучший способ решить эту проблему.

[Примечание: Я не имею Hcatalog в моем окружении, я просто хочу, чтобы предпочесть «экспорт в каталог HDFS» как мой последний вариант]

Answer 1

Попробуйте создать внешнюю таблицу со всеми разделами и использовать каталог внешней таблицы в sqoop export.

1) PART_TABLE (секционированная таблица);

2) Создание Экстер таблицы XX_DUMMY () Расположение

3) Вставьте перезаписать XX_DUMMY, как выбрать * из PART_TABLE

4) Запускаем Sqoop экспорт

Или

Попробуйте экспорт -dir/user/name/*

Answer 2

Вы пробовали следующее:

--hive-разбиение ключа Названия ульи поля для разделения является sharded на

--hive-разбиение-значение строкового значения, которое служит в качестве ключа секционирования для этого импортировано в улью в этой работе ,