HDInsight Spark cluster - не удается подключиться к Azure Data Lake Store

Question

Итак, я создал HDInsight Spark Cluster. Я хочу получить доступ к Azure Data Lake Store.

Чтобы создать кластер HDInsight Spark, я выполнил следующие инструкции: https://azure.microsoft.com/en-gb/documentation/articles/data-lake-store-hdinsight-hadoop-use-portal, однако на портале Azure не было возможности настроить AAD или добавить принцип обслуживания.

Итак, мой кластер был создан только с использованием Azure Blob Storage. Теперь я хочу расширить его для доступа к Azure Data Lake Store. Однако в диалоговом окне «Cluster AAD Identity» указано «Принцип обслуживания: DISABLED», и все поля в диалоговом окне выделены серым цветом и отключены. Я не вижу никакого способа расширить хранилище, чтобы указать на ADL.

Любая помощь будет оценена! Спасибо :-)

Answer 1

Вы можете перенести данные из Blob в ADLS с помощью Data Factory, но вы не можете напрямую обращаться к ADLS из кластера Spark.

Answer 2

Какой тип кластера вы создали? В нашем кластере Linux доступен весь параметр, указанный в приведенном вами руководстве.

Answer 3

Просьба создать кластер Azure Hdinsight с ServicePrincipal. ServicePrincipal должен иметь доступ к вашей учетной записи хранилища данных данных. Вы можете настроить свой кластер на использование хранилища данных Data, но это очень сложно. И на самом деле для этого нет документации. Рекомендуемый способ создания - с ServicePrincipal.