Я хочу знать, что является лучшим способом работы с Apache Spark с использованием Intellij Idea? (специально для языка программирования Scala)Как работать с Apache Spark с использованием Intellij Idea?
Пожалуйста, объясните шаг за шагом, если сможете.
Спасибо за ответ
Существует хороший учебник по Установке искры Скала IntelliJ Idea
Tutorial Link
Позволь мне знать, если вы сталкиваетесь с каким-либо вопросом.
Существует, скорее всего, бесплатный обед здесь. Я являюсь участником Spark в областях SQL и MLLib и провел неисчислимые часы работы с интеграцией Intellij и Spark. Вы можете google «stackoverflow intellij spark», и это даст представление.
Следуйте рекомендациям imAGin, чтобы посмотреть на некоторые из уроков. Используйте вопросы и ответы StackOverflow (многие из них я поставил). Вам нужно будет потратить много времени, чтобы получить эту работу. И, к сожалению, это не разовое дело. Искры постоянно меняются - включая зависимости и файлы сборки. Таким образом, это сложная и движущаяся цель.
Технически это не ответ, но +1, потому что я согласен с вами! – eliasah
@javadba: Не требуется много времени для настройки. Его все раздулось. Искра предназначена для работы в режиме StandAlone с минимальной настройкой. –
@imAGin Ну, вам повезло .. * сейчас *. Но не говорите больше, чем вы знакомы. Возвращаясь к версиям 1.3.0 и ранее, были запутанные шаги * каждый раз, когда один сделал обновление. И с плохой до несуществующей документации. Это были племенные знания, испытания и ошибки. Даже сейчас - вы пытались использовать любые настройки, отличные от настроек по умолчанию? Scala 2.11? Различные версии хаупов? Конкретная версия улья? Когда они становятся важными, посмотрите, как начнется веселье. – javadba
Спасибо, я попробовал. Но добавление искры к зависимостям должно загружать все искровые файлы для каждого проекта, и это очень трудоемко. Есть ли более быстрый и простой способ? Это еще один учебник http://hackers-duffers.logdown.com/posts/245018-configuring-spark-with-intellij. Что вы думаете об этом? –
@ OmidEbrahimi: Согласно моему предложению, гораздо лучше, если вы можете загрузить весь файл, необходимый для проекта, как отдельный. В то время как при развертывании приложения вы будете уверены в правильной версии Scala и всех зависимостях, связанных с приложением, производственная среда может быть разной в долгосрочной перспективе. Как одно приложение, которое вы сделали сегодня, нужно установить завтра, вам не нужно беспокоиться об удалении установки и повторении этого. Это может привести к тому, что несколько проектов будут синхронизироваться с производством. И этот учебник выглядит неплохо, но мои 2 цента используют идею IntelliJ по умолчанию Scala и Spark. –
ссылка не работает – Boern