Я не знаю обновленного набора искровых AMI, кроме тех, что provided by the Spark project.
Тем не менее, я разработал способ, используя Packer для автоматического создания набора Спарк МАСС из набора базовых МАСС и некоторых сценариев Bash:
https://github.com/nchammas/spark-ec2/tree/packer/image-build
Это делается в рамках SPARK-3821 ,
Вам нужно будет сделать некоторую работу, чтобы заставить это работать с Ubuntu, поскольку в настоящее время в сценариях используется дистрибутив Linux, основанный на yum.
В основном:
- These lines определяет базовые МАССЫ строить дальше.
- These lines показать сценарии, которые запускаются для создания изображения.
- These и these строки сообщают, что упаковщик скопировал встроенные ОИМ во все регионы EC2. Вероятно, вы захотите это изменить.
Самый короткий путь к успеху для вас может состоять в том, чтобы попробовать базовое изображение CentOS или Fedora, в котором есть пакеты, которые вы ищете. Это позволит свести к минимуму изменения, которые вы должны внести в сценарии Bash.
Вокруг Spark 1.4 период выпуска (примерно июнь/июль 2015 года), я буду работать над тем, чтобы это было объединено с основной репутацией spark-ec2.
Я не знаю таких изображений, но вы можете легко создавать собственные AMI с помощью Packer и [этих скриптов] (https://github.com/nchammas/spark-ec2/tree/packer/image-build). Все, что вам нужно сделать, это отредактировать [эти строки] (https://github.com/nchammas/spark-ec2/blob/0f313de64ad9542d1a0f0d6f27131ca4bc01d8c3/image-build/spark-packer-template.json#L5-L6), чтобы указать базовые AMI, которые вы хотите использовать. –
В течение периода времени выпуска 1.4 я попытаюсь объединить его в «mesos/spark-ec2», чтобы они могли поддерживаться сообществом. Вы можете следить за соответствующей JIRA здесь: [SPARK-3821] (https://issues.apache.org/jira/browse/SPARK-3821) –
@NickChammas Почему бы не сделать ваши комментарии ответами, чтобы я мог присудить награду. – javadba