Hadoop, hive -> получить список sql, выполняемый против кластера

Итак, у нас есть группа людей, поражающих наш кластер, и хотели бы отслеживать каждый оператор SQL, выполняемый через hive/odbc. Веб-страница сервера истории заданий даст мне часть SQL, но не все. Есть ли способ получить полный SQL команд, которые выполняются? Может быть через веб-интерфейс или в командной строке. Я хочу отслеживать неэффективные запросы и отправлять предупреждения разработчикам.Hadoop, hive -> получить список sql, выполняемый против кластера

кластера 10 узла MapR кластер под управлением Mapr 5.0 в режиме пряжи

источник

2017-01-18 MikeKulls

Hue предоставляет возможность хранить Hive запросы, которые бежали прямо через Hue –

Спасибо, но Я ищу отслеживать запросы, которые запускаются через ODBC – MikeKulls

ODBC/JDBC удаленно? Не будет ли это у клиента? Почему инструменты hadoop отслеживают это? –

Я нашел решение. SSH в машину, на которой запущен hiveserver2, и выполните команду ниже. Замените интересующего вас пользователя (или * если вы хотите их всех) и замените hive-0.13 на версию улья, которую вы используете.

cat /opt/mapr/hive/hive-0.13/logs/<user>/hive.log | grep "Starting command"

EDIT: в этом году, так как я написал это кажется, что изменилось на:

cat /opt/mapr/hive/hive-2.1/logs/<user>/hive.log | grep "Executing command"

источник

2017-01-19 21:59:05 MikeKulls

Кто-нибудь знает какие-либо инструменты, которые добавят графический интерфейс и дополнительные функции поверх этого? – MikeKulls

Hadoop, hive -> получить список sql, выполняемый против кластера

ответ

Смежные вопросы