Прочтите файл в лазурных затратах с помощью приложения scala

Question

Мой кластер должен прочитать некоторые входные файлы, которые находятся в моем лазурном хранилище. Я отправляю свой .jar в кластер через livy, но он всегда умирает, потому что я не могу найти свои файлы -> Класс пользователя бросил исключение: java.io.FileNotFoundException. Что мне не хватает? Я не хочу использовать sc.textFile, чтобы открыть файлы, потому что он превратит их в структуры RDD, и мне нужна их структура правильно.

val Inputs : String = scala.io.Source.fromFile("wasbs:///inputs.txt").mkString 

Я считаю, что я пытаюсь прочитать от неправильного locationo или с неправильным способом, любые идеи?

Спасибо!

Answer 1

Согласно вашему описанию, на основе моего понимания, я думаю, что вы хотите загрузить текстовый файл на Azure Storage, используя Scala, работающую на HDInsight.

По моему опыту, есть два способа, которыми вы можете попытаться реализовать свои потребности.

1. Только с помощью Scala в Azure Storage Java SDK, чтобы получить содержимое текстового сгустка, пожалуйста, обратитесь к учебнику How to use Blob storage from Java, и я думаю, с помощью Scala переписать пример кода в учебнике очень просто.

2. Используя API-интерфейс Hadoop Filesystem в пределах Hadoop Azure Support library, чтобы загрузить данные файла, пожалуйста, обратитесь к образцу hadoop wiki https://wiki.apache.org/hadoop/HadoopDfsReadWriteExample, чтобы написать свой код в Scala.