Можно ли скомпилировать и создать пользовательскую Apache Spark в Google Cloud Dataproc? Допустим, мы хотим настроить Apace Spark, а затем хотим создать пользовательскую Spark на dataproc.Запуск пользовательских искра построить на Dataproc?
0
A
ответ
1
Это должно быть возможно. Dataproc запускает обычные виртуальные машины вычислительного двигателя для вас и настраивает Hadoop и YARN.
Вы можете зайти на любой компьютер, установить собственную сборку искры и указать установку YARN и Hadoop (Dataproc). Однако я сомневаюсь, что вы сможете использовать консоль GCP или интерфейс командной строки dataproc для отправки и мониторинга заданий с помощью собственной установки без дополнительной модификации.
Смежные вопросы
- 1. искра запуск: найти версию
- 2. Запуск Spark + Scala + Jupyter на Dataproc
- 3. Запуск примера BigQuery Dataproc на локальном компьютере
- 4. Невозможно построить Искра в IntelliJ 14
- 5. Ошибка: вы должны построить Искра с улей
- 6. искра представляет запуск только одного рабочего узла
- 7. Доступ к Cassandra из Google Cloud Dataproc
- 8. искра "BasePath" вариант установки
- 9. Искра запуска на окнах
- 10. Запуск удаленных пользовательских интерфейсов
- 11. Чтобы искра или не искра?
- 12. Вы должны построить Искра с улей. Экспорт «SPARK_HIVE = истина»
- 13. Запуск пользовательских «часов»/DateTime.now C#
- 14. Запуск пользовательских приложений из браузера
- 15. Запуск пользовательских событий в backbone.js
- 16. Запуск приложений не появляется искра web Ui, но работает
- 17. Искра: агрегирование на основе столбца
- 18. Запуск функциональных кодированных пользовательских интерфейсов
- 19. установки/запуск искра (искры оболочка) в режиме клиента пряжи
- 20. DataProc MapReduce перестает работать
- 21. Изменение учетной записи службы на google dataproc
- 22. Что такое «узел обработки» на Dataproc?
- 23. Как указать/проверить # разделов на кластере Dataproc
- 24. Spark 2.0 и Scala 2.11 на Dataproc?
- 25. искра java.util.logging.Logger
- 26. Разъем BigQuery Hadoop & Dataproc
- 27. Google Dataproc node idle
- 28. Сделать dataproc менее подробным
- 29. Dataproc bdutil versioning
- 30. Запуск файла приложения jar на spark-submit в экземпляре кластера google dataproc
Возможно, вы захотите использовать действие init, чтобы убедиться, что все узлы используют вашу версию искры и не пытаются загрузить предустановленную искру. Действия Init - это в основном произвольные скрипты, которые выполняются на всех узлах. https://cloud.google.com/dataproc/docs/concepts/configuring-clusters/init-actions –