AWS SSE-KMS Шифрование с искры/Dataframes

Question

Я настроил шифрование включено ЭЙ кластер (свойства в emrfs-site.xml) Я использую dataframe savemode.append писать в S3N: // моего ведра/путь/ для сохранения в s3.

Но я не могу видеть объект, зашифрованный AWS KMS. Однако, когда я делаю простую вставку из улья из EMR, я могу видеть, как объекты получают aws kms зашифрованы.

Как я могу зашифровать файлы из dataframe в S3, используя sse kms?

Answer 1

Проблема в том, что мы использовали s3a для сохранения файлов от искровой программы до EMR. AWS официально не поддерживает использование s3a в EMR. Хотя мы смогли сохранить данные в S3, это не шифровало данные. Я попытался использовать s3: // и s3n: // Шифрование работает с обоими.