Удержание нескольких пользователей в одних и тех же таблицах

Question

- это возможность иметь таблицы, которые совместно используются в улье. Я имею в виду, что пользователь создает таблицу улья. Позже несколько пользователей могут работать с одной и той же таблицей одновременно.

Я слышал о дерби и индивидуальном метасторе для каждого пользователя. Но индивидуальная опция метастара не позволяет пользователям работать одновременно на одном и том же наборе таблиц правильно?

Есть ли другой способ работать над этим?

Потому что, когда мы пытаемся получить доступ к улей в то же время, мы получаем следующее error-

Вызванные: ОШИБКА XSDB6: Еще один пример Дерби, возможно, уже загрузил да tabase/корень/metastore_db.

Answer 1

Я использую Ubuntu, и эта ошибка возникла, когда я открыл куст из того же места в двух отдельных окнах терминала. Это будет интерпретироваться как несколько пользователей системой. Закройте один из окон терминала/вкладки, и это должно сделать трюк.

Answer 2

ОШИБКА XSDB6: Еще один пример Дерби, возможно, уже загрузили да tabase/корень/metastore_db.

Эта ошибка может возникнуть, если вы пытаетесь запустить более одного экземпляра оболочки улья. Блокировка может сохраняться в фоновом режиме (из-за неправильного разъединения) даже после закрытия вкладки/терминала.

Решение, чтобы найти процесс, используя grep

ps aux | grep hive 

Теперь, убить процесс с использованием,

kill -9 hive_process_id (ex: kill -9 21765) 

Restart улей оболочки. Он работает нормально.

Answer 3

Это происходит при запуске двух экземпляров искрового приложения (например: spark-shell, spark-sql, или start-thriftserver), запущенного в том же каталоге, с использованием встроенного метастара Derby.

Если не настроен hive-site.xml, контекст Spark автоматически создает metastore_db в текущем каталоге (see Spark docs). Чтобы этого избежать, запустите второе искровое приложение в другом каталоге или используйте постоянный метастар (например: Hive Derby in Server Mode) и настройте его с помощью hive-site.xml.