Автономный Apache Spark - что поставить как раб ip и порт?

Я пытаюсь запустить кластер Apache Spark на моем локальном MacBook Pro. Я начал мастер с:Автономный Apache Spark - что поставить как раб ip и порт?

myMachine$ ./start-master.sh

затем в регистраторе, у меня есть:

14/08/30 10:25:38 INFO Master: Starting Spark master at spark://myMachine.local:7077

Теперь мне нужно, чтобы начать одного раба:

myMachine$./bin/spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT

Каким должен быть правильный IP и ПОРТ здесь? Благодаря!

источник

2014-08-30 Edamame

Ты просто рассказываешь этому рабом, где найти хозяина. Он должен работать с использованием myMachine.local или даже для «IP» (я не считаю, что ему действительно нужен фактический IP-адрес, имя хоста должно быть прекрасным) и 7077 для порта - то есть просто имитируйте распечатанные когда вы запустили мастера.

myMachine$./bin/spark-class org.apache.spark.deploy.worker.Worker spark://myMachine.local:7077

источник

2014-09-01 03:02:37

Так что мне потребовалось некоторое время, чтобы понять это, я буду укажите, что если все, что вам нужно, это консоль Scala для игры с некоторыми примерами на вашем ноутбуке, вы, возможно, на самом деле не нуждаетесь в кластере. Вы можете просто запустить './bin/spark-shell --master local [4]' и использовать ': load' для загрузки своего кода Scala - 4 - количество потоков, которые вы можете настроить. Если вы проверите [Руководство по программированию] (http://spark.apache.org/docs/latest/programming-guide.html), вы увидите, что вы можете даже поместить имя банки в конце этой команды, чтобы добавьте его в путь к классам. –

Спасибо Спиро! Я поставил рабочего, как вы предложили, и мастер, похоже, нашел его. Однако пример Java WordCount по-прежнему не работает. Ниже приводятся сообщения об ошибках, что мне здесь не хватает? Большое спасибо! «WARN AppClient $ ClientActor: Не удалось подключиться к master org.apache.spark.SparkException: Недопустимый главный URL: spark: // spark: //myMachine.local: 7077 at org.apache.spark.deploy.master.Master $. toAkkaUrl (Master.scala: 777) «...» WARN TaskSchedulerImpl: начальное задание не приняло никаких ресурсов, проверьте свой пользовательский интерфейс кластера, чтобы убедиться, что работники зарегистрированы и имеют достаточную память » – Edamame

@Edamame: выполняются ли другие примеры? Курящее пистолет состоит в том, что URL-адрес сообщения об ошибке имеет повторяющуюся схему 'spark: // spark: //' - вы уверены, что не случайно повторили ее в своей команде искрового класса? Или вы использовали другие команды с участием хоста и порта? –

После запуска мастера, перейдите

localhost:8080

Там будет ваш мастер-адрес и порт, как информация

Spark Master at spark://yourip:7077

источник

2015-02-27 05:32:54 Reddevil

Автономный Apache Spark - что поставить как раб ip и порт?

ответ

Смежные вопросы