1
Я пытаюсь запустить кластер EMR с помощью Spark с использованием CLI, где я указываю Spark как application. У меня также есть сценарии начальной загрузки, которые настраивают такие вещи, как ноутбуки IPython поверх Spark. Однако, когда я пытаюсь обратиться к обычным местам Spark в моих сценариях начальной загрузки (/usr/bin/spark или /usr/lib/spark/bin), я не обнаружил ошибок.EMR: доступно ли приложение Spark при загрузке?
Может кто-нибудь помочь мне понять, что такое последовательность событий в кластерах EMR - это приложения, установленные после начальной загрузки?
имеющий такую же проблема. есть ли какой-либо способ автоматически запускать мой ноутбук ipython с помощью искры, как только Spark станет доступным? – DanT
@DanT Странно то, что в какой-то момент это работало, но потом оно перестало работать, и теперь нам нужно вручную запустить IPython-ноутбук на главном компьютере. Однако [EMR> 4.10] (http://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/emr-release-components.html) имеет [Zeppelin] (https://zeppelin.incubator.apache.org /) из коробки, и этого должно быть достаточно для всех целей ноутбука Python. – tchakravarty
Удалось ли вам решить эту проблему? Благодаря! – user3294904