Спайк-кластеризация с пряжей

Question

Я хотел бы создать искровую кластеризацию с пряжей. Нужно ли мне

1. установка hadoop master и slaves с конфигурацией пряжи?
2. установка hadoop master/рабы и мастер пряжи/рабы отдельно?

Если 1 в порядке, я собираюсь работать с этим изображением докера (link). Это подходит для этого?

Answer 1

Установка мастера hadoop и подчиненного устройства с конфигурацией пряжи достаточно для того, чтобы запускать искру поверх пряжи, но тогда вам также необходимо убедиться, что искровая версия, которую вы загружаете, поддерживает пряжу. когда установленная искра должна иметь возможность доступа к конфигурациям пряжи, а требуемые файлы jar, связанные с пряжей, также находятся на пути искры.