Управление учетными данными базы данных от AWS EMR Spot Intsance

Question

Я регулярно разворачиваю/закрываю кластеры EMR для выполнения множества задач. Некоторые из этих задач включают подключение к удаленной базе данных и чтение или запись данных. Мне нужны различные параметры подключения для подключения к этим базам данных (адрес, имя пользователя, pw и т. Д.).

Я ищу безопасный способ получить эти учетные данные в кластере EMR во время начальной загрузки, которые будут использоваться автоматическими заданиями. У меня есть доступ ко всем другим услугам AWS.

Answer 1

Когда вы запускаете кластер emr, вы можете добавить собственный скрипт, который будет выполняться на каждом узле в разделе «Действия загрузки». Вы можете скопировать файлы конфигурации из ведра S3 в экземпляры и использовать свой код для чтения файла conf или выполнения сценария bash для распространения конфигураций в качестве переменных среды.