Hive таблица сортируется, но вставляется без сортировки

Question

, что произойдет, если create table X (...) clustered by(date) sorted by (time)

но вставляется без сортировки insert into x select * from raw

Вилл данные сортируются после извлекаются из сырой, прежде чем вставить?

Если вставлены несортированные данные Что делает «сортировка по» в инструкции create table. Он работает только для подсказок для последующих запросов?

Answer 1

documentation объясняет:

Кластеризованный BY и сортировали при помощи команд создания не влияют вставки данных в таблицу - только то, как он читается. Это означает, что пользователи должны быть осторожны, чтобы правильно вставить данные, указав число редукторов равным количеству ведер и используя команды CLUSTER BY и SORT BY в своем запросе.

Я думаю, что ясно, что вы хотите вставить данные, отсортированные, если вы используете эту опцию.

Answer 2

Нет, данные не сортируются.

Как поясняется в другом ответе, параметры SORTED BY и CLUSTERED BY не изменяют, как данные будут возвращены из запросов. Хотя документация технически точна, цель CLUSTER BY заключается в том, чтобы записывать базовые данные в HDFS таким образом, чтобы в некоторых случаях ускорять последующие запросы. Кластеризация (bucketing) похожа на разбиение на разделы, поскольку позволяет процессору запросов пропускать строки чтения ... Если кластер выбран с умом. Обычное использование ведер - это данные выборки, в которых вы явно включаете только определенные ведра, тем самым избегая чтения с исключенными.