При попытке создать ресурс EMRcluster с этими свойствами:AWS Datapipeline ServiceAccessSecurityGroup
У меня есть эта ошибка: Заканчивается ошибками. Вы также должны указать службу ServiceAccessSecurityGroup, если вы используете специальную безопасность.
Группа безопасности доступа к сервису: помимо настроек брандмауэра, упомянутых в 2 упомянутых группах безопасности. Интернет-трафик между AWS EMR Сервисные серверы (у вас нет никакого контроля над этим, полностью управляемый AWS), и ваш экземпляр Slave EMR должен быть разрешен.
This security group contains 2 entries
HTTPS* (8443) TCP (6) 8443 ElasticMapReduce-Slave-Private(sg-id)
HTTPS* (8443) TCP (6) 8443 Default Security Group of VPC
Без этого EMR не будет работать с DataPipeline. Ни один из Datapipeline не указывает способ определения этого в определении конвейера. AWS команда знает об этом.
Итак, в качестве обходного пути используйте пользовательский шаблон, предоставленный AWS, и клонируйте, отредактируйте его в соответствии с вашими потребностями.
«используйте специальный шаблон, предоставленный AWS». К какому шаблону вы относитесь? –
«Запуск задания в кластере Elastic MapReduce», предоставленном в разделе Source-> Build Using Template. –
Это не является допустимым обходным решением, если вам нужно запустить кластер в частной подсети (как я полагаю, требуется OP, поскольку параметр ServiceAccessSecurityGroup необходим только в этих обстоятельствах). Предлагаемый вариант «Запуск задания в кластере Elastic MapReduce» запускает кластер EMR в общедоступной подсети. – blamblam
Вы нашли решение на этом? – tarzan