Ну, я знаю несколько методов оптимизации, таких как «Разделение и Bucketing» при написании запроса. Запуск улья в режиме TEZ. Но, кроме этого, есть другие методы оптимизации, которые есть в улье.Каковы все рекомендуемые методы оптимизации в Hive?
Вы можете задать по крайней мере следующие параметры для оптимизации производительности: -
set set hive.exec.reducers.max=no_of_reducers; - нет восстановителей для параллельной обработки.
set hive.exec.reducers.bytes.per.reducer=value_in_bytes; - равномерно распределить нагрузку на каждый редуктор.
set hive.auto.convert.join=true; - автоматически преобразует присоединяется к mapjoins во время выполнения , если это возможно,
set hive.enforce.bucketing = true; - если таблица bucketed вам нужно написать этот параметр, нет. из ковшей будет равно no. редукторов.
Есть много методов:
Пожалуйста, обратитесь ниже пост hortonworks для более Детали:
http://hortonworks.com/blog/5-ways-make-hive-queries-run-faster/