Как автоматизировать запрос на прием

Question

Я создал сценарий запросов на улей в основном для создания объектов и оценки для проекта с поперечной продажей. Большинство запросов - это простые запросы, которые делают очистку данных, преобразование и т. Д. Я хочу автоматизировать этот процесс, чтобы начать с таблицы вставки в качестве входных данных и вывести окончательный результат в файл Hbase. Мой вопрос:

Каков наилучший способ сделать это?

Могу ли я просто создать filename.sql или filename.hql и запустить его из оболочки с помощью hive -f filename.sql

Есть ли что-то в улье, как PL для SQL?

Answer 1

Вы можете сделать это несколькими способами. Как и вы, вы можете использовать Hive CLI и очень легко выполнять такие задания. Вы можете написать сценарий оболочки в Linux или .bat в Windows.

В скрипте вы можете просто пойти, как показано ниже.

$HIVE_HOME/bin/hive -e 'select a.col from tab1 a'; 

или если у вас есть файл:

$HIVE_HOME/bin/hive -f /home/my/hive-script.sql 

Убедитесь, что вы установили $ HIVE_HOME в вашем окр. После того, как вы проверили и работали нормально, вы можете установить cronjob для планирования.

Answer 2

Важно отметить, что если вы используете либо техники, каждый из ваших запросов должны быть разделены запятой т.е.

hive -e 'select * from tableA limit 10;select * from tableB limit 10'