Я пытался разработать программу Spark, используя Apache Spark Framework.
Я хочу создать экземпляр HiveContext без каких-либо кластеров.
Можно ли использовать HiveContext и запустить его локально через Eclipse Scala IDE без использования какого-либо кластера?Возможно ли запустить улей на Spark в Eclipse IDE?
Просто это возможно? Конечно ... (курсив добавлен)
Чтобы использовать
HiveContext, вам не нужно иметь существующую установку улей, и все источники данных, доступных дляSQLContextвсе еще доступны.
Однако, вам необходимо скомпилировать дополнительный код.
HiveContextупакован отдельно, чтобы избежать включения всех зависимостей Hive в сборку по умолчанию Spark. Если такие зависимости не является проблемой для вашего приложения затем с помощьюHiveContextрекомендуется
Но, если вы просто писать Спарк без кластера, нет ничего держит вас Спарк 1.x, и вы должны вместо используйте Spark 2.x, который имеет SparkSession в качестве точки входа для связанных с SQL вещей.
Eclipse IDE не имеет значения. Вы также можете использовать IntelliJ ... или нет IDE и spark-submit любой JAR-файл, содержащий некоторый код искры ...
Спасибо! Я немного запутался, потому что сейчас просто изучаю искру. То, что я хотел знать, - создать и использовать таблицу Hive, используя искровую структуру. – Ivan
Вам понадобится кластер Hadoop для создания таблицы Hive, да. Запуск самого кода Spark не требует кластера, нет. –