Я пытаюсь настроить кластер 5 узлов cassandra для запуска Spark/Shark, чтобы протестировать некоторые запросы на кусты. Я установил Spark, Scala, Shark и настроен в соответствии с Amplab [Running Shark на кластере] https://github.com/amplab/shark/wiki/Running-Shark-on-a-Cluster.Кто-нибудь был успешным работает Apache Spark & Shark на Cassandra
Я могу попасть в CLI Shark и когда я пытаюсь создать внешнюю таблицу из одной из моих таблиц Cassandra ColumnFamily, я получаю эту ошибку
Failed с исключением org.apache. hadoop.hive.ql.metadata.HiveException: Ошибка при загрузке хранения handler.org.apache.hadoop.hive.cassandra.CassandraStorageHandler
FAILED: ошибка выполнения, код возврата 1 из org.apache.hadoop.hive .ql.exec.DDLTask
Я настроил HIVE_HOME, HADOOP_HOME, SCALA_HOME. Возможно, я указываю, что HIVE_HOME и HADOOP_HOME ошибочны? HADOOP_HOME настроен на мою папку Cassandra hadoop (/ etc/dse/cassandra), для HIVE_HOME установлен нерастянутый загруженный файл Hadoop1/hive, который был загружен Amplad, и я также установил HIVE_CONF_DIR на мой маршрут Hass Cassandra (/ etc/dse/hive). Я пропустил какие-то шаги? Или я неправильно настроил эти местоположения? Любые идеи, пожалуйста? Любая помощь будет очень оценена. Спасибо
Где вы положили Cassandra обработчика хранения банку? Возможно, вам придется добавить его с помощью команды «добавить банку» в акуле. – Richard
Спасибо за ответ Ричард. Я искал весь узел Cassandra для файла jar файла Storage Handler, но я не могу его найти. Он должен существовать, потому что я могу запускать запросы на использование в Hive CLI, используя Datastax. этот файл называется любым, кроме «StorageHandler.jar»? – kwasbob
Вы можете проверить, какие кувшины загружаются при работе под DSE. Затем вы можете использовать «добавить jar» или скопировать его в каталог hive lib, который вы используете. Кроме того, вы можете создать обработчик хранения cassandra с открытым исходным кодом с https://github.com/milliondreams/hive. – Richard