Как запустить Spark без Cassandra в Datastax Enterprise

Question

Я недавно установил DataStax Enterprise (v5.0) в свой 5-узловой кластер. Я планирую использовать 3 узла в качестве искры и 2 узла в качестве кластера с несколькими узлами cassandra.

Теперь всякий раз, когда я пытаюсь запустить искру в моих искровых узлов -

я получаю следующее сообщение об ошибке -

SUDO DSE искру Exception в потоке «основной» java.io.IOException: Не удалось открыть родной подключение к Кассандре в {} 127.0.0.1: 9042 в com.datastax.spark.connector.cql.CassandraConnector $ .com $ datastax $ $ искровым разъем $ CQL $ CassandraConnector $$ CreateSession (CassandraConnector.scala: 160)

Почему искра ищет кассандру? Невозможно запустить искру без кассандры в DSE?

Также который Conf файлы в DSE я должен изменить так, что искры подключается к Кассандре работает на другом узле (а не один работает локально на 127.0.0.1:9042)

Answer 1

Вы не можете в данный момент (5,0) начать DSE узел без Кассандры. Но только потому, что вы должны начать Кассандру, это не значит, что вы должны использовать его. Просто убедитесь, что вы всегда используете стратегию топологии сети, и DSE будет использовать только C * на этих машинах для информации о сплетнях и схемах.

Также для примечания dse spark только начинает искровую оболочку. Он не запускает инфраструктуру Spark Master и Worker.