Есть ли способ добавить банки, которые находятся в ведре на S3, как зависимость Zeppelin? попробовал z.load(s3n://...)
и z.addRepo(some_name).url(s3n://...)
, но они, похоже, не выполняют эту работу.Как использовать зависимости от S3 в Zeppelin?
1
A
ответ
2
Вы можете загрузить баночки из S3 и поместить их на локальную FS. Это может быть сделано в % отд переводчика, как это:
%dep
import com.amazonaws.services.s3.AmazonS3Client
import java.io.File
import java.nio.file.{Files, StandardCopyOption}
val dest = "/tmp/dependency.jar"
val s3 = new AmazonS3Client()
val stream = s3.getObject("buckename", "path.jar").getObjectContent
Files.copy(stream, new File(dest).toPath, StandardCopyOption.REPLACE_EXISTING)
z.load(dest)
Примечание: Вы должны генерировать жира банку, т.е. включать в себя все пользовательские зависимости не предусмотренные по умолчанию (например, если у вас есть несколько модулей в вашем проекте). В maven он может быть реализован с помощью maven-shade-plugin:
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>2.4.2</version>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<artifactSet>
<includes>
<include>com.yourcompany:*</include>
</includes>
</artifactSet>
</configuration>
</execution>
</executions>
</plugin>
Смежные вопросы
- 1. Как использовать anaconda в zeppelin?
- 2. Подключение S3 от Zeppelin с использованием искрового интерпретатора
- 3. Как использовать угловой контроллер в Zeppelin
- 4. Zeppelin: Как перезапустить sparkContext в zeppelin
- 5. Как скачать Zeppelin Notebook от AWS EMR
- 6. Apache Zeppelin: запуск кода автоматически при запуске?
- 7. Zeppelin: как скачать или сохранить ноутбук Zeppelin?
- 8. Как использовать ресурс в зависимости от библиотеки Android от ADT?
- 9. Как использовать Zeppelin для доступа к кластерам aws spark-ec2 и s3 buckets
- 10. Как добавить банку в zeppelin?
- 11. AWS S3 Линия зависимости Gradle
- 12. Использовать пакетную вилку в зависимости от композитора
- 13. Почему ноутбук Zeppelin не может подключиться к S3
- 14. Исключение зависимости от зависимости
- 15. Как использовать SSE-S3 на Amazon S3?
- 16. Как сделать дрель в Zeppelin?
- 17. Как использовать attrs в зависимости от полей many2one в openerp?
- 18. Ошибка сборки от установки Apache Zeppelin
- 19. Туннелирование apache zeppelin от EMR до localhost
- 20. Автоматические записные книжки zeppelin
- 21. Отладка Zeppelin Dependency Management
- 22. Как использовать зависание и щелчок в зависимости от разных устройств?
- 23. Как использовать функцию в зависимости от типа аргумента?
- 24. Как использовать разные базы данных в зависимости от местоположения файла
- 25. Как использовать файл «xxx-bin.tar.gz» в зависимости от maven?
- 26. Как использовать разные изображения, в зависимости от типа устройства iOS?
- 27. Как использовать функцию javascript в зависимости от if else?
- 28. Как использовать надлежащую неуправляемую .dll в зависимости от архитектуры процессора?
- 29. Как использовать сеанс с разными данными в зависимости от страницы?
- 30. Как использовать группу по столбцам в зависимости от другого столбца
Спасибо большое! Есть ли способ ответить на этот вопрос? благодаря! http://stackoverflow.com/questions/37251236/apache-zeppelin-running-code-automatically-on-startup – shakedzy
Я не думаю, что это работает больше. «DepInterpreter (% dep) устарел. Загружайте зависимость через меню интерпретатора GUI». – Jeremy
Я получил это для работы, следуя инструкциям по загрузке банки в локальную файловую систему .. а затем перейдя в меню интерпретатора и добавив зависимость с тем же путем «/tmp/dependency.jar» – Jeremy