Итак, я установил кластер apache flink в нашей сети. Я сделал конфигурации, как показано ниже. Этот мастер (JobManager) запускается и отправляет команду запуска всем подчиненным с помощью ssh. Я вижу, что диспетчеры задач запускаются после того, как они были запущены главным узлом.Flink Jobmanager не может видеть менеджеров задач
Файл конфигурации на всех узлах:
jobmanager.rpc.address: flmaster
jobmanager.rpc.port: 6123
jobmanager.heap.mb: 1024
taskmanager.heap.mb: 2048
taskmanager.numberOfTaskSlots: 1
taskmanager.memory.preallocate: false
parallelism.default: 1
jobmanager.web.port: 8081
taskmanager.tmp.dirs: /apps/storage/runtime/flink/workspace
recovery.mode: zookeeper
recovery.zookeeper.quorum:zk1:2181, zk2:2181, zk3:2181
recovery.zookeeper.storageDir: /apps/runtime/flink/recovery
env.java.home: /apps/java/
Тогда я есть файл с именем Рабы в папке конфигурации со списком узлов ведомых.
flSlave1
flSlave2
flSlave3
Я затем запустить его
../bin/start-cluster.sh
Это открывает сеанс SSH для всех подчиненных узлов, и запускает диспетчер задач. Я вижу это с ps ax | grep java
Я могу открыть Web-Ui на flMaster: 8081 В WebUI я вижу, что подсчет ведомого узла равен 0. У меня нет менеджеров задач. В качестве теста я начал работу wordcount.jar, и он говорит, что он не может запустить задание, так как нет открытых слотов.
/apps/flink/bin/flink run /apps/flink/examples/batch/WordCount.jar
ответ:
07/20/2016 13:19:01 Job execution switched to status FAILING.
org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException: Not enough free slots available to run the job.*
Ну, я думаю, если нет менеджеров задач/ведомых узлов, не будет никаких слотов.
Кто-нибудь видел эту проблему?