Запуск задания искры в режиме пряжи

Question

Здесь возникает проблема, когда я использую скрипт pi.py искрового запуска в примере искрового питона, когда я использую режим «пряжа-клиент», все работает нормально. Но когда я использую режим пряжи кластера, работа не может начаться, и контейнер возвращает синтаксическую ошибку, как это:

LOGTYPE: стандартный вывод

Вход Загрузить Время: Чт 21 май 8:48:16 + 0800 2015

LogLength: 111

Вход Содержание:

Файл "pi.py", строка 40

return 1 if x ** 2 + y ** 2 < 1 else 0 

Я уверен, что сценарий прав, может кто-нибудь помочь мне.

Answer 1

Отмечено, что синтаксическая ошибка включена в новую версию python, поэтому я понял, что, возможно, это проблема с версией использования искры python.

добавить недвижимость в /etc/spark/conf.cloudera.spark_on_yarn/spark-defaults.conf:

spark.yarn.appMasterEnv.PYSPARK_PYTHON

указать питона двоичный путь.

Тогда проблема решена.

Answer 2

искра в настоящее время не поддерживает выполнение сценариев питона в кластерном режиме (развертывание драйвера на кластер)

В качестве альтернативы, если ваша заявка будет подана от машины далеко от рабочих машин (например, локально ваш ноутбук), обычно используется , чтобы использовать режим кластера для минимизации задержек сети между драйверами и исполнителями. Обратите внимание, что в настоящее время режим кластера не поддерживается для кластеров Mesos или приложений Python.

https://spark.apache.org/docs/1.3.1/submitting-applications.html