Как запустить локальную сессию Spark 2.x?

Question

В целях тестирования я хочу запустить Spark 2.x в локальном режиме. Как я могу это сделать? Я могу сделать это? В настоящее время я пишу в main:

val spark = SparkSession 
    .builder 
    .appName("RandomForestClassifierExample") 
    .getOrCreate() 

и запустить основной в IntelliJ, но я получаю ошибку

org.apache.spark.SparkException: A master URL must be set in your configuration 

Я думаю, мне нужно иметь некоторый локальный экземпляр работает или установить локальный режим или что-то как это. Что мне делать в точности?

Answer 1

Следует настроить .master(..) перед вызовом getOrCreate:

val spark = SparkSession.builder 
    .master("local") 
    .appName("RandomForestClassifierExample") 
    .getOrCreate() 

«местный» означает, что все компоненты искру в (мастер, исполнители) будут работать локально в вашей одной JVM, выполняющей этот код (очень удобно для тестирования, довольно много нерелевантно для реальных сценариев мира). Узнайте больше о других опциях «master» here.