Загрузка данных в Разделы в Улье

Question

Пожалуйста, помогите мне в разъяснении моих сомнений. Я не уверен в цели разделения на ВИЧ. Вот что я пытаюсь do.Below мой файл данных:

Файл: Кишор, 31 Рамеш, 32 Кишор, 33 Рамеш, 34

Я создал Разделенный управляемого таблицы EMP как показано ниже:

создать таблицу EMP (имя строки, возраст int) секционированный по (строка страны, строка состояния) поля с разделителями строк, прерванные ',';

Теперь я загружаю данные, как показано ниже: загрузить данные local inpath '/../../file' в таблицу EMP partition (country = 'US', state = 'Oklahoma');

Итак, теперь моя таблица с данными должна быть такой: kishore, 31, США, Oklahoma ramesh, 32, США, Oklahoma kishore, 33, США, Оклахома-рамеш, 34, США, Оклахома.

МОЙ КЛЕЙК Как это было полезно для раздела? Даже если это была несегментированная таблица, в которой также есть столбец страны и штата, и если бы я предоставил select * form EMP (для непартийной таблицы) или выберите * из EMP, где country = US и state = Oklahoma (для разделенной таблицы), я получаю тот же результат, Его одно или то же. как улучшается производительность?

Спасибо!

Answer 1

Проверить эту ссылку, чтобы лучше понять разделение в улье,

http://www.brentozar.com/archive/2013/03/introduction-to-hive-partitioning/

Crux есть

1. оптимизировано хранение больших объемов данных (вы должны указать раздел клавиши)
2. приведенное выше указано на основе шаблонов запросов
3. статические и динамические части Варианты ионов

чтение Furter ->https://www.safaribooksonline.com/library/view/programming-hive/9781449326944/

Answer 2

Вы можете использовать разделы как обычные столбцы в ИНЕКЕ. Hive рассматривает столбцы для разделов при печати вывода оператора select (здесь важна последовательность столбцов). Тем не менее, Hiveserver знает, какой столбец является разделом или какой столбец нет, и переводит запрос в задания mapreduce с этими знаниями.